思考を調整できるAI「Inkling」登場

Thinking Machines Labは、彼らがゼロから学習させた初のモデルであるInklingをリリースしました。重みは公開されており、Tinker上でfine-tuning可能です。このラボは、Inklingをカスタマイズの基盤として売り出しています。Inklingとは何でしょうか？Inklingは、合計9750億個のパラメータと410億個のアクティブなパラメータを持つMixture-of-Experts transformerです。最大1Mトークンのコンテキストウィンドウをサポートしています。事前学習には、テキスト、画像、音声、動画の45兆トークンが使用されました。入力はテキスト、画像、音声を受け入れますが、出力はUTF-8テキストのみです。研究チームは、2760億個のパラメータと120億個のアクティブなパラメータを持つMoEであるInkling-Smallもプレビューしました。これは多くのベンチマークで大型モデルと同等かそれ以上の性能を示しており、テストが完了次第、その重みも公開されます。カスタマイズ/finetuningが主要な差別化要因であるため、ここではアーキテクチャが非常に重要です。 建築の内部 モデルのアーキテクチャには、疎なMoEフィードフォワードバックボーンを持つ66層のdecoder-only transformerが含まれています。各MoE層は256個のルーティングされたエキスパートと2個の共有エキスパートを保持しています。トークンごとに6個のルーティングされたエキスパートがアクティブになり、両方の共有エキスパートはすべてのトークンでアクティブになります。シグモイドベースのルーターが選択を処理し、補助損失フリーのロードバランシングバイアスを使用します。ルーティングされたスコアと共有スコアは共同で正規化され、結合された出力の重み付けに使用されます。MoEの設計はDeepSeek-V3に大きく従っています。 Attentionは慣習から逸脱しています。スライディングウィンドウ層とグローバル層は5:1の比率で8つのKVヘッドと交互に配置されます。位置にはRoPEではなく相対位置埋め込みが使用されており、ラボはこれがより良く外挿すると報告しています。キーとバリューの射影後、および残差ブランチの出力には短い畳み込みが適用されます。 マルチモダリティはエンコーダーフリーです。音声はdMelスペクトログラムとして入力され、画像は4層のhMLPを介して40x40ピクセルのパッチになります。軽量な埋め込み層が両方を射影し、その後デコーダーがテキストトークンと結合して処理します。学習には、大規模な行列重みにはMuon、その他のパラメータにはAdamが、NVIDIA GB300 NVL72システム上で使用されました。学習後のSFTは合成データからブートストラップされ、含まれています。