AIにハエの脳を繋いだ結果は？

Fly Language Model (FLM)は、完全に保持された雄のショウジョウバエのコネクトーム（神経接続図）を、凍結されたLiquidAI LFM2.5-1.2B-Instructバックボーンに結合した公開チャットボットです。FLMを作成した開発者は、これをGPF（Generative Pre-trained Fly）と呼ばれるアーキテクチャに基づいて構築された、世界初のFly Language Modelと呼んでいます。しかし、FLMはGPFというラベルを使用せず、最初のコネクトーム言語モデルであることを明示的に否定しており、ハエのグラフを持たないパラメーターが一致する対照モデルの方がわずかに優れた性能を示すと報告しています。Deployable: はい、ローカルで。nftechie/flmリポジトリはMITライセンスで、Python 3.12（macOSまたはLinux、MPS、CUDA、またはCPU）でAPIキーなしで動作します。 実際に構築されたもの このシステムは、言語モデルにボルトで固定されたリザーバーコンピューターです。MaleCNSグラフの保持された166,700個のノードと25,582,938個の有向エッジすべてが参加します。グラフ、バックボーン、およびランダムな入出力プロジェクションはすべて固定されています。訓練されるのは278,528個のパラメーターを持つリードアウトのみで、これは1,170,340,608個のバックボーンパラメーターの約0.0238%に相当します。各トークンにおいて、固定されたガウスプロジェクションが2,048次元のトークン埋め込みを128チャンネルに圧縮します。各リザーバーノードはランダムな符号を持つ1つのチャンネルを受け取ります。その後、グラフ全体はx = tanh(W(0.6x + 0.4Bc))で更新されます。ここでWは、入力正規化された解剖学的接触数を保持します。状態は128個のビンにプールされ、2つの訓練されたバイアスフリー行列（Uは128×128、Vは2,048×128）を通過し、凍結されたボキャブラリーヘッドを介して、バックボーンのlogitに追加される境界付き残差として投影されます。この残差は、ボキャブラリー座標全体でRMSが0.25に制限されます。 結果 新しく凍結された32のSmolTalk日常会話ダイアログ（1,236個のターゲットトークン）のセットにおいて、3つの適合シードは以下の結果を示しました: Condition NLL (nats/token) Frozen backbone 1.381995 Fly readout 1.359816 ± 0.000110 Direct-input readout 1.359328 ± 0.000108 Relabeled, no refit 1.381265 ± 0.000802 No edges 1.381995 Fly readoutはバックボーンを0.0222 nats/token改善しました（パープレキシティ3。