AMDが新しい文章AIを公開

AMDは、Instinct MI300XおよびMI325X GPUでゼロから訓練された、完全にオープンなMixture-of-Experts言語モデルであるInstella-MoE-16B-A3Bをリリースしました。このモデルは合計160億のparametersを持ちますが、トークンごとに28億しかactiveになりません。AMDは、すべてのtraining stageからのweights、データ混合、training configs、およびinference codeを公開しています。このリリースには、Gated Multi-head Latent AttentionとFarSkip-Collective connectivityという2つのシステムレベルの選択が含まれています。 展開可能でしょうか？部分的です。weightsは学術および研究目的のみのResearchRAILライセンスの下で提供されるため、これはすぐに使える商用モデルではありません。training codebaseはMITライセンスであり、こちらの方が再利用可能な資産です。 対象企業レベル：データセンターGPU容量を持つAI研究ラボ、大学グループ、および企業のR&Dチーム。ホストされた商用エンドポイントを求めるリーンスタートアップには適していません。 対象産業：半導体およびクラウドインフラストラクチャ、AIツールベンダー、および学術研究。 アプリケーション：エンドツーエンドのMoEレシピの再現、expert-parallel servingの研究、64Kのlong-context動作の評価、およびRL post-training実験の実行。 servingコスト：BF16の160億parametersには約32GBのweight memoryが必要なため、1つの高メモリacceleratorで十分です。AMDはSGLang inference codeを提供しています。 https://rocm.blogs.amd.com/artificial-intelligence/instella-moe/README.html アーキテクチャ Instella-MoEは、27層、hidden size 2048、16 attention heads、128,896トークンのvocabularyを持つdecoder-only MoEです。各MoE層は、2つのshared expertsと、64個から選択された6つのrouted expertsを使用します。これにより、合計160億に対して28億のactive parametersが生成されます。pre-trainingおよびmid-training中にMulti-Token Prediction objectiveが使用されます。 知っておくべき重要な構造的選択肢が2つあります。Gated MLAは、Multi-head Latent Attentionに軽量な学習済み出力ゲートを追加します。専用の線形projectionが入力条件付きゲートを導出し、出力projectionの前に乗算的に適用されます。FarSkip-Collectiveは、古い部分的なactを渡します。