コーディングAI、効率的な新モデル公開

今週、Cohere AIチームは、初の開発者向けコーディングモデル「North Mini Code」を発表しました。「North Mini Code」はオープンウェイトで、ソフトウェアエンジニアに特化しています。これは300億の総パラメータを持つmixture-of-experts (MoE)モデルで、トークンごとに30億のパラメータのみがアクティブになります。このリリースは「sovereign」AIを中心に位置付けられています。その考え方はシンプルで、高性能なモデルを自社の条件で実行することです。小さく効率的なコーディングモデルは、大規模なGPUクラスターなしでチームがセルフホストすることを可能にします。North Mini Codeはそのギャップを直接的に狙っています。North Mini Codeは30B-A3Bパラメータモデルです。A3Bは、フォワードパスごとに30億のアクティブパラメータを意味します。Cohereはこれを、コード生成、agentic software engineering、およびterminal tasksの3つのタスクに最適化しました。このモデルはテキスト入力・テキスト出力で、画像や動画の入力はありません。コンテキストウィンドウは256Kトークンで、最大出力長は64Kトークンです。Cohereは、最低限のハードウェアとしてFP8で1つのH100を挙げています。ウェイトはApache 2.0ライセンスでHugging Faceで提供されています。Cohere API、Model Vault、およびOpenRouterを通じてもアクセスできます。フィールド: North-Mini-Code-1.0

ライセンス: Apache 2.0

モデルサイズ: 総計30B; アクティブ3B

コンテキスト長: 総計256K; 最大生成64K

最適化対象: コード生成、agentic software engineering、terminal tasks

利用可能性: Hugging Face、Cohere API、Cohere Model Vault、OpenRouter

ハードウェア (最小): 1× H100 @ FP8

アーキテクチャ: North Mini Codeは、スパースなMoEレイヤーを持つデコーダーオンリーのTransformerです。そのアテンションは2つのタイプを3:1の比率で交互に配置します。Sliding-window attentionは位置にRoPEを使用し、Global attentionは位置埋め込みを全く使用しません。フィードフォワードブロックは128のエキスパートを保持し、トークンごとに8つのエキスパートがアクティブになります。各エキスパートはSwiGLUアクティベーションを持つFFNです。ルーターはtop-k選択の前にシグモイドを適用します。スパースレイヤーの前に単一の密なレイヤーがあります。この組み合わせにより、アクティブな計算量を少なく保ちながら、総容量を広げています。CohereはウェイトをBF16でリリースしました。後処理は2