Liquid AIがスマホで動く賢いAIを公開

Liquid AIはLFM2.5-8B-A1Bを出荷しました。これは、ツール呼び出し用に構築されたオンデバイスのMixture-of-Experts (MoE) モデルです。このモデルは合計83億のパラメータを持ちますが、トークンごとに15億しかアクティブになりません。この疎な構造により、消費者向けハードウェアで実行できます。このリリースは、Liquid AIチームが以前に公開したLFM2-8B-A1Bに続くものです。LFM2.5は、オンデバイス展開向けの新しいハイブリッドモデルファミリーです。このバージョンでは、128Kのcontext window、reasoning、およびスケールアップされたトレーニングが追加されています。LFM2.5-8B-A1Bとはこのモデルは、疎なMoE設計を使用しています。フォワードパスごとに合計83億のパラメータのうち15億をアクティブにします。これにより、生成される各トークンの計算コストが低く抑えられます。アーキテクチャは24層です。18層はdouble-gated LIV convolution blocks、6層はGQA layersです。MoE、GQA、およびgated short convolution blocksを組み合わせています。context lengthは131,072トークンです。このモデルは、アラビア語、中国語、日本語を含む9つの言語に対応しています。Liquid AIチームは、temperatureを0.2、top_kを80、repetition_penaltyを1.05にすることを推奨しています。前身とは異なり、LFM2.5-8B-A1Bはreasoning-onlyモデルです。最終的な回答の前に、明示的なchain of thoughtを生成します。Liquid AIチームがこれを選択したのは、MoEモデルが計算量に制約のある設定で実行されるためです。アクティブなパラメータ数が少ないほど、各reasoningトークンのコストが安くなります。LFM2-8B-A1Bからの変更点Liquidはcontext windowを32,768トークンから128,000トークンに拡張しました。pretrainingは12Tトークンから38Tトークンにスケールアップされました。語彙は65,536トークンから128,000トークンに倍増しました。語彙が大きくなったことで、非ラテン語スクリプトのトークン化がより効率的になります。Liquid AIチームは、ヒンディー語、タイ語、ベトナム語、インドネシア語、アラビア語で最も強力な圧縮効果を報告しています。残りのアーキテクチャはLFM2-8B-A1Bと同じです。Liquid AIはどのようにトレーニングしたかLiquid AIチームは、最初から再トレーニングするのではなく、tokenizerをその場で拡張しました。多言語コーパスで元のマージからBPE merge trainingを継続しました。新しいembedding rowsは、そのサブトークン分解の平均として初期化されます。短い2段階のadaptation th