AWSが「選ぶAI」を公開、高速判断

AWS Strands Labsは、オープンソースの決定モデルであるStrands Decider 2Bをリリースしました。これはテキストを生成しません。状態と入力された質問を読み取り、選択肢、イエス/ノーの確率、または調整された信頼度を持つスコアを返します。このモデルは19億のパラメーターを持ち、CPU、一般消費者向けGPU、またはApple silicon Macでローカルに実行できます。 展開可能ですか？はい、ローカルおよびセルフホストでの使用が可能です。重みはApache-2.0ライセンスのもとHugging Faceで公開されており、pip install strands-deciderでCLIとHTTPサーバーが提供されます。バンドルされているサーバーは認証なしで127.0.0.1にバインドされるため、本番環境では独自の認証レイヤーが必要です。まだホスト型推論プロバイダーは提供していません。 決定モデルとは何か 決定モデルは、System Oneモデルとも呼ばれ、先月TypeSafe AIがJevを立ち上げた後にカテゴリとして確立されました。LLMは任意の出力を生成できますが、決定モデルは選択肢の中から選ぶか、スケールで評価するだけです。Strands Deciderは3つの質問タイプをサポートしています： choice：N個の選択肢から1つを選ぶ。 noul：0から1の間のイエス/ノーの確率。 score：順序付けられたルーブリック上のレベル。 すべての回答は許可された選択肢から得られ、信頼度を伴います。チームは、このモデルが複雑な問題に対する推論モデルよりも劣ると述べています。コーディング、チャット、要約には不向きです。 アーキテクチャ：口を取り除いたLLM チームはQwen3.5-2B-Baseから開始し、言語モデリングヘッドを破棄しました。約100万パラメーターの小さなポインターヘッドがそれに取って代わります。このヘッドは、<answer>位置の隠れ状態を、各オプションの最後のトークンの隠れ状態と比較します。1回の順方向パスで結果が得られ、デコーディングループはありません。胴体はrank-16 LoRAを使用し、ヘッドはfp32で実行されます。ラベルセットはリクエストから来るため、オプション数に上限はありません。リリースされたチェックポイントはv19です。1つのテキストについて複数の質問をすることは安価です。状態は一度読み込まれ、各追加質問はそれ自身のトークンのみを追加します。