メタ、AIを個人PCで動かす

メタは、Muse Sparkから蒸留された300億パラメータのマルチモーダルモデルであるMuse Glimmerをリリースしました。これは、常時稼働するローカルエージェントのワークフロー向けに調整されており、Apache 2.0ライセンスで提供されます。30Bモデルは通常、フル精度で55GB以上のメモリを必要とします。メタはこれを約4ビットに圧縮し、ブロックレベルの投機的デコーディングを追加することで、実際のエージェントループ内で十分な速さで応答できるようにしました。その結果、ネットワーク接続なしで、1つの消費者向けGPUまたはMacで動作します。 展開可能か？はい、ウェイトはApache 2.0の下で公開されています。Hugging Faceコレクションには、BF16ウェイト、GGUF k-quants、ExecuTorchビルド、およびDFlashドラフターが含まれています。セルフホスティングは初日から可能です。 対象企業：ソロ開発者やスタートアップは、24GBのGPUまたはM4/M5 Max Macでこれを実行できます。中規模市場のチームは、トークンごとの課金なしでオンプレミス推論を利用できます。規制対象の企業は、エアギャップ可能なエージェントを入手できます。メタは、モデルをベアエンドポイントとして提供するのではなく、システムレベルのガードレールを追加することを推奨しています。 対象産業：ヘルスケア、法律、金融サービス、防衛および公共部門、製造業、フィールドサービス。これらは、データレジデンシー、オフライン操作、またはレイテンシーがクラウド呼び出しを排除する設定です。 アプリケーション：スクリーンショットを読み取るデスクトップエージェント、コーディングエージェント、スキーマベースの関数呼び出し。また、ドキュメントとチャートの理解、合成データ生成、LLM-as-a-judge評価も可能です。 モデルとトレーニング：Muse Glimmerは、専用の知覚エンコーダーを備えた密な因果Transformerです。ビジョンタワーを含め、総パラメータ数は約30Bです。Grouped-query attentionは32のクエリヘッドと2つのKVヘッドを使用します。Attentionは、2,048のスライディングウィンドウで[Local, Local, Local, Global]パターンを繰り返します。RoPEはローカルレイヤーにのみ適用され、thetaは500,000です。ビジョン側は、約1.8BのViT-G/14 perceptです。