AIが画像や音で瞬時に判断

Liquid AIは、d1意思決定モデルファミリーのオープンウェイトマルチモーダルモデルであるOpen d1の2つをリリースしました。d1-3Bはテキストと画像を読み取ります。d1-omni-600Mは画像付きのテキスト、または音声付きのテキストを読み取ります。どちらのモデルもテキストを書き出しません。それぞれ、ゼロ出力トークンで1回のフォワードパスで調整された型付きの回答を返します。目標は、NVIDIAスタック（DGXサーバー、RTXワークステーション、Jetsonエッジボード）でのリアルタイム意思決定です。 展開可能か？はい。両方のチェックポイントはHugging Faceにあり、Transformersを介してロードされ、初日からllama.cppをサポートしています。LFM Open License v1.0は、年間収益1,000万ドル未満であれば無料での商用利用を許可しています。d1-omni-600Mは、レイテンシ（遅延）の数値が公開されていない初期の研究リリースです。 意思決定モデルとは何ですか？生成AI（generative LLM）はトークンごとに回答を書き出し、あなたのコードがそれを解析します。意思決定モデルは、状態と一連の名前付き質問を受け取ります。それらを一度読み取り、許可されたすべての回答に対して確率を返します。Liquid AIは3つの質問タイプを定義しています。noul：P(yes)として返されるはい/いいえの質問。choice：名前付きオプションから1つのラベルを選択し、完全な確率分布を伴います。score：2〜10レベルの順序付けされた評価基準における確率加重の位置。複数の質問が1回の呼び出しで1つの状態を共有できます。すべての応答はoutput_tokens: 0と報告します。Liquid AIは、ルーティング、モデレーション、意図分類、リランキング、LLM-as-a-judgeスコアリング、エージェントガードレール、および視覚検査にd1を推奨しています。どちらのチェックポイントもチャットモデルではありません。 d1-3Bとd1-omni-600Mはどのように構築されていますか？d1-3Bは3.12Bのパラメーターを持ち、デコーダーのみのビジョン言語モデルであるLFM2.5-VL-3Bから始まります。Liquid AIは、LFM2.5-2.6Bの重みと、そのモデルのテキストバックボーンの重みを平均化しました。その後、異なるシードとデータ混合物でいくつかのチェックポイントをfine-tuningし、マージしました。