英独対応AI「Kolibri」登場

Aleph Alphaは、ドイツ語と英語向けに構築されたオープンウェイトのMixture-of-Experts (MoE) language modelであるKolibriをリリースしました。Kolibriは合計78.1Bのパラメータを持ちますが、トークンあたり3.46B、つまり4.4%のみをアクティブにします。最大1,048,576トークンのコンテキストを受け入れ、ユーザーはリクエストごとにreasoning effortを設定でき、Hugging FaceでApache 2.0ライセンスの下で提供されます。 ターゲットは、公共行政、産業、航空宇宙などの規制されたセクターでの主権的なdeploymentです。デプロイ可能でしょうか？はい。FP8 checkpointは約78GBで、単一のB200、B300、またはH200、または2つのH100 SXM5 GPUで動作し、専用のKolibri reasoningおよびtool-call parsersを備えたvLLMを通じて提供されます。 Kolibriとは何ですか？Kolibri (Kolibri-1) は、ドイツのチームによってエンドツーエンドで開発されたバイリンガルの英語-ドイツ語MoE transformerです。技術研究レポートによると、Aleph Alphaチームはデータ、architecture、training infrastructure、post-training、evaluationというパイプライン全体を管理しました。トレーニングはドイツとフィンランドのインフラストラクチャで実行されました。この設計は、EU General-Purpose AI Code of Practice、EU AI Act、およびGDPRをターゲットとしています。Aleph AlphaはそのCodeの署名者であり、そのデータパイプラインはトレーニング前に個人データをredactします。 Architecture: Sparse ExpertsとHybrid Attention Kolibriは、モデル幅2,560の50個のtransformerブロックを積み重ねています。すべてのMoE層は、sigmoid routerを使用して384個のrouted expertsすべてをスコアリングし、各トークンを上位6つに送信し、常に1つのshared expertを実行します。Expert loadは、Exact Quantile BalancingとLoad-Error Injectionによってバランスが取られています。Attentionは、48個のquery headsと4個のKV headsを持つgrouped-query attentionを使用しています。5番目ごとのブロックは、positional encodingなしのfull attentionを使用します。他の40個のブロックは、RoPEを使用して先行する512トークンにわたるsliding-window attentionを使用します。Sliding-window層は固定サイズのKV cacheを保持するため、コンテキスト長とともに成長するのは10層のみです。同等の計算量で、Aleph Alphaチームは、このハイブリッドがfull-attentionモデルよりも4倍長いシーケンスをサポートすると報告しています。ドイツ語向けに構築されたTokenizer Th