Mistral AIが新しい高性能AIを公開

Mistral AIは、内部でLe Chonkと名付けられたMistral Large 4（ML4）のパブリックプレビューリリースを発表しました。モデルのドキュメントによると、ML4は合計1.05兆のパラメータ、トークンあたり490億がアクティブ、16億パラメータのvision encoder、そして100万トークンのcontext windowを持つ、きめ細かいMixture of Expertsモデルです。これはMistral自身のヨーロッパのデータセンターで3,800個のNVIDIA Grace Blackwell GPUを使ってゼロからトレーニングされました。要するに、Mistral AIは2026年10月6日にMistral Large 4（「Le Chonk」）をパブリックプレビューとしてリリースしました。これは1.05Tパラメータのきめ細かいMoEで、トークンあたり49Bがアクティブ、native image input、そして1Mのcontext windowを持ち、Mistral自身のEUデータセンターで3,800個のNVIDIA Grace Blackwell GPUを使ってゼロからトレーニングされました。APIは現在、入力トークン100万あたり1.36ドル、出力トークン100万あたり4.18ドルで利用可能ですが、weightsは10月末まで出荷されないため、self hostingはまだ不可能です。その際立った結果はサイバーセキュリティ分野にあり、MistralはCybenchで93%、CyberGym-E2Eで82%を報告しており、いくつかのclosed frontier modelsがタスクを拒否するためほぼゼロのスコアであると指摘しています。アーキテクチャはどうなっていますか？ML4は、画像入力をネイティブに受け入れるハイブリッドなinstruct-and-reasoning MoEです。weightsの約4.7%のみがトークンごとにアクティブになるため、1兆クラスのモデルが中程度の価格で提供されます。完全な1.05Tはmemoryに常駐する必要があるため、activation countが計算量を決定し、ハードウェア費用ではありません。Mistralはまだexpert count、top-k routing、またはlayer layoutを公開していません。これらはweightsと共に出荷されます。training dataは、すべてのEU公用語を含む160以上の言語に及びました。パフォーマンスはどうですか？サイバーセキュリティにおいて、MistralはCybenchで93%、