Liquid AI、小型AIをスマホ等で動くように発表

Liquid AIはLFM2.5-230Mを出荷しました。これは同社にとってこれまでで最小のモデルです。このリリースは、スマートフォン、ロボット、自動化デバイスでエージェントタスクを実行するという特定の目的に焦点を当てています。ベースモデルとinstruction-tunedチェックポイントの両方がHugging Faceでオープンウェイトとして公開されています。この目的は意図的に限定されています。これは一般的な推論モデルではありません。エッジハードウェアでのデータ抽出とツール利用のために構築されています。TL;DR Liquid AIのLFM2.5-230Mは、これまでのモデルで最小です。2.3億パラメータで、オープンウェイト、LFM2をベースに構築されています。Galaxy S25 Ultraで213トークン/秒、Raspberry Pi 5で42トークン/秒でon-deviceで動作します。指示の追従とデータ抽出において、より大きなモデル（Qwen3.5-0.8B、Gemma 3 1B）を上回ります。数学、コード生成、クリエイティブライティングではなく、ツール利用と抽出のために調整されています。llama.cpp、MLX、vLLM、SGLang、ONNXに初日から対応しており、フットプリントは293〜375MBです。LFM2.5-230Mとは？LFM2.5-230Mは、2.3億パラメータのテキスト専用モデルです。LFM2アーキテクチャに基づいて構築されています。モデルは合計14層です。8層はdouble-gated LIV convolution blocksで、残りの6層はgrouped-query attention (GQA) blocksです。このハイブリッドなレイアウトは、高速なCPU inferenceを目的としています。コンテキスト長は32,768トークンです。語彙サイズは65,536です。知識のカットオフは2024年中頃です。英語、中国語、アラビア語、日本語を含む10言語をサポートしています。Liquid AIチームは2つのチェックポイントを出荷しています。LFM2.5-230M-Baseは、fine-tuningのためのpre-trainedモデルです。LFM2.5-230Mは、汎用的なinstruction-tunedバージョンです。ライセンスはlfm1.0です。トレーニングと後処理このモデルは19兆トークンでpre-trainedされました。これには32Kのコンテキスト拡張フェーズが含まれます。その後、post-trainingのレシピは3つの段階で実行されます。最初は、より大きなLFM2.5-350Mからのdistillationを伴うsupervised fine-tuningです。2番目はdirect preference optimization (DPO)です。3番目はmulti-domain reinforcement learningです。これにより、downstream specializationのための柔軟性が保持されます。distillationステップが、2.3億パラメータのモデルをより大きなモデルと競争力のあるものに保つ要因です。