Liquid AIがLFM2.5-Embedding-350MとLFM2.5-ColBERT-350Mを発表

今週、Liquid AIは2つの新しい検索モデルを発表しました。それはLFM2.5-ColBERT-350MとLFM2.5-Embedding-350Mで、どちらも350Mのパラメータを持っています。これらはLFMファミリーの初の双方向モデルです。両モデルは、3月に発表されたLFM2.5-350M-Baseを基にしており、11言語にわたる高速な多言語およびクロスリンガル検索を目的としています。サイズが小さく、ほぼどこでも実行できるため、今すぐHugging FaceでLFMオープンライセンスv1.0のもとで利用可能です。

LFM2.5-Embedding-350Mは、各文書を単一のベクトルに変換する密な双方向エンコーダーです。最も速い検索と小さくて安価なインデックスを求める場合に選択してください。LFM2.5-ColBERT-350Mは遅延相互作用モデルで、各トークンをベクトルに変換します。これにより、クエリを単語単位で一致させることができ、精度が向上しますが、インデックスは大きくなります。精度がストレージよりも重要な場合に選択してください。クエリの長さは32トークンに制限されており、インデックスを構築せずに初期段階の検索結果を再ランク付けすることも可能です。両モデルは短いコンテキストの検索に最適で、商品カタログ、FAQの知識ベース、サポート文書などに適しています。Liquid AIは、両モデルを既存のRAGパイプラインの代替として位置付けています。

アーキテクチャの変更：因果から双方向へ

両モデルはLFM2.5-350M-Baseから始まります。Liquid AIは、LFM2アーキテクチャに小さな双方向のパッチを適用しています。これにより、因果デコーダーから双方向エンコーダーに適応されます。因果設定では、各トークンは自分自身と前のトークンのみを使用します。これは左から右への生成には適していますが、検索にはあまり自然ではありません。チームは因果注意マスクを双方向のものに置き換え、すべてのトークンが左右のコンテキストにアクセスできるようにしました。また、LFM2の短い畳み込みを非因果に変更し、各トークンの周りのローカル情報を対称的に混ぜるようにしました。