AI開発用AI「Mellum2.1」公開

JetBrainsは、コーディングエージェントおよび高速なサブエージェント向けに構築されたオープンモデル、Mellum2.1をリリースしました。Mellum2.1は、JetBrainsの12B mixture-of-experts思考モデルであり、トークンあたり2.5Bのパラメーターをアクティブ化します。これはApache 2.0ライセンスの下、Hugging Faceで提供されています。アーキテクチャはMellum2から変更されていません。このアップグレードは、実際のソフトウェア環境でのreinforcement learning（RL）によってほぼ完全にもたらされました。その結果、リポジトリを探索し、ファイルを編集し、自身の変更をチェックする、小型で自己ホスト可能なモデルが誕生しました。 TL;DR サイズ: 合計12B、アクティブ2.5B（64エキスパート、8アクティブ）、131,072トークンのコンテキスト 動作環境: vLLMまたはSGLangを介して自身のGPU（1基のNVIDIA H200で速度テスト済み）。llama.cpp、Ollama、LM Studio向けのGGUFビルドは7.0 GBから。 パフォーマンス: 記載されている17のベンチマークのうち15でMellum2を上回ります。Qwen3.5-9Bに対しては17のうち5で勝利します。 最高: LiveCodeBench v6で82.0を記録し、Qwen3.5-9B（75.4）およびGemma 4 E4B（69.4）を上回ります。 最低: Terminal-Bench 2.1で17.4を記録し、Qwen3.5-9B（21.7）を下回ります。 結論（最高）: わずか2.5Bのアクティブパラメーターで強力なコーディングスコアと高いスループットを実現。 結論（最低）: 依然として、困難なエージェントソフトウェアタスクや知識においてQwen3.5-9Bに遅れをとっています。 Mellum2.1とは？ Mellum2.1は、JetBrainsが2026年6月にオープンソース化したMellum2 Thinkingの次期バージョンです。リリースされたチェックポイントはMellum2.1-12B-A2.5B-Thinkingです。これは、回答する前に思考の連鎖を出力する推論モデルです。JetBrainsは、エージェントワーカー、汎用推論アシスタント、プライベートな自己ホスト型デプロイメントの3つの用途をターゲットにしています。 Mellum2.1のアーキテクチャはどのように機能しますか？ このモデルは28層と64のエキスパートを持っています。ルーターはトークンあたり8つのエキスパートをアクティブ化します。アテンションは、32のクエリヘッドと4つのKVヘッドを持つgrouped-query attentionを使用します。4層ごとに3層が1,024トークンのスライディングウィンドウを使用します。コンテキスト長は131,072トークンで、語彙は98,304トークンです。重みはbfloat16で提供されます。 Mellum2.1はどのようにトレーニングされましたか？ 新しい作業のほぼすべてが後処理トレーニングに費やされました。RLは短い最終段階からトレーニングの主要部分へと移行しました。JetBrainsは追加しました