AIがCPUで動く判断モデル公開

Fastino Labsは、3億4000万パラメータのオープンウェイトの判断モデルであるGLiNER2.5-Decideをリリースしました。これはテキストと型付けされた質問のスキーマを受け取り、構造化された回答を返します。各回答には、確率分布、信頼度スコア、および制約実現可能性のメタデータが付属しています。これは、エージェントパイプライン内の頻繁な判断（ルーティング、トリアージ、ツール選択、ガードレールなど）をターゲットとしています。展開可能か？はい、ウェイトはApache 2.0の下で提供され、pip install gliner2でインストールできます。これらはCPU、GPU、またはエアギャップ環境で実行できます。Fastinoチームは、GLiNER APIを通じてホスト型推論とfine-tuningも提供しています。GLiNER2.5-Decideが実際にすることGLiNER2.5-Decideは非生成型分類器です。DeBERTa-v3-largeエンコーダを使用し、gliner2-large-v1からfine-tunedされています。生成されるトークンはなく、プロンプトテンプレートも必要ありません。ラベルセットは呼び出し時に渡されます。スキーマ内の各質問は、許可される回答を宣言します。また、1つの回答、複数の回答、または順序付けられた値を期待するかどうかも宣言します。スキーマは、指示、例、ラベルの説明、および質問間の回答をリンクするルールを保持できます。パイプラインは2つのステージで構成されます。エンコーダはテキストとスキーマを一緒に読み込み、許可されるすべての回答をスコアリングします。その後、制約付きデコーダは、宣言されたルールが許可する最高スコアの結合割り当てを検索します。Fastinoはスコープについて明確です。このモデルは、推論、説明、またはオープンな質問への回答は行いません。これは運用上の意思決定のためのスペシャリストです。なぜ結合デコーディングが重要なのかFastinoチームは、ガードレールの例でその価値を説明しています。独立してデコードされた場合、モデルはプロンプトインジェクションを0.82でフラグ付けしました。また、同じプロンプトを安全と0.52でラベル付けしました。攻撃は検出されましたが、2つの出力が矛盾していました。結合デコーディングは、検出された危害がある場合、安全でないという判定が必要であるというルールを適用します。その後、モデルはsafety=unsafeとharm_type=prompt_injectionを一緒に返します。ダウンストリームコードはこれらのスコアを使用して、ブロック、ルーティング、またはエスカレートを行うことができます。スキーマは含意を表現できます