Cohere、高性能な翻訳AIを発表

Cohereは、CohereとCohere Labsによるオープンウェイトの機械翻訳モデルであるNorth Small Translateをリリースしました。これは、合計2180億、アクティブなパラメータが250億の疎なMixture-of-Experts（MoE）モデルです。アルバニア語からベトナム語まで、50の言語をカバーしています。CohereのWMT26評価では、全言語で平均83.6点を記録しました。Cohereは、これがDeepLやGoogle Translate、さらにGLM 5.2やMistral Large 3のようなオープンな選択肢を上回ると述べています。展開可能でしょうか？はい。CohereのAPIでレート制限まで無料で利用できるほか、非商用目的でセルフホストしたり、商用ライセンスを取得したりできます。<br>Transformerが始まった場所へ<br>Googleの研究者たちは2017年に「Attention Is All You Need」でTransformerを発表しました。その主な成果は、WMT 2014の英語からドイツ語、英語からフランス語への翻訳でした。9年後、Cohereはその最初の問題に特化したモデルで立ち返っています。CohereのXでの発表投稿は、翻訳を主権の問題として捉えています。グローバルにコミュニケーションできない組織は、主権を維持できません。North Small Translateは、CohereのNorthファミリーで最初の翻訳モデルです。これは、Cohereの多言語系列であるTiny AyaとCommand A Translateに続きます。Cohereは、そのLanguage Weaverの科学者と言語専門家が実際の品質を形成したRWSと協力してこれを構築しました。<br>アーキテクチャ<br>モデル構造は、デコーダーのみの疎なMoE Transformerとして記述されます。主な詳細は次のとおりです。<br>Experts: 128のExpertがあり、トークンごとに8つがアクティブ化され、さらにすべてのトークンに適用される共有Expertがあります。<br>Router: Expertのlogitsに対するシグモイドで、選択されたtop-kで正規化されます。<br>Attention: スライディングウィンドウ層（ウィンドウ4096、RoPE）と位置埋め込みなしのグローバル層が3:1で交互に配置されます。<br>Lineage: このAttentionのレイアウトは、Command Aで最初に導入されました。<br>Context: 16Kの入力トークンと16Kの出力トークン、テキストのみ。<br>Training: 翻訳品質のために特別に後学習されました。<br>トークンあたり約11.5%のウェイトがアクティブです。トークンあたりの計算は250億のアクティブなパラメータを追跡します。メモリはすべてを保持する必要があります。