Saluki 27B: 小さいのに賢いAI登場

Conway ResearchのオンデバイスアシスタントであるUnderdogは、Saluki 27BをApache 2.0ライセンスでリリースしました。Underdog Saluki 27Bは、Qwen3.8-27Bの2-bit GGUFであり、7.89 GBに収まります。完全なBF16モデルは54 GBを必要とします。Underdogは、チャットモデルをエージェントに変えるスキルであるtool callingを保護するために圧縮を調整しました。開発者にとって、これは標準のllama.cppで動作する27Bクラスのエージェントモデルを意味します。TL;DR サイズ: 27Bの密なパラメータ。BF16の54 GBに対し、GGUFは7.89 GB。動作環境: 標準のllama.cppおよびそれに基づいて構築されたアプリで、完全なGPUオフロードに対応。オプションで629 MBまたは928 MBのvisionアドオンがあります。パフォーマンス: フルQwen3.8-27Bと比較して、9つのベンチマークで平均96%の保持率。最高: 並列tool callsで、フルモデルの35に対し42（120%の保持率）。最低: AIME 2025で、96.7に対し79.2（約82%の保持率）。結論: 最高: 8 GB未満のファイルで、tool callingにおいて54 GBのオリジナルモデルを上回ります。最低: 競技数学と多段階推論では12〜18ポイント低下します。Underdog Saluki 27Bとは何か？Saluki 27Bは、ローカルエージェント向けに構築されたQwen3.8-27Bの2-bit混合精度GGUFです。これは3層の作業を積み重ねています。ベースはQwenチームの密な27BモデルであるQwen3.8-27Bです。これは64層を持ち、Gated DeltaNet linear attentionとgated attentionを組み合わせ、ネイティブで262,144トークンをサポートします。第2層はISTA-DASLabのQwen3.8-27B-GSQ-RCO-GGUFです。GSQはテンソルごとに正確な低ビットスカラーグリッドを学習します。RCOは固定サイズ予算内で各テンソルに量子化タイプを割り当てます。ISTAの最小ファイルであるIQ2_XSは、1ウェイトあたり2.50ビットで8.4 GBです。第3層はUnderdog独自のパスです。これによりファイルは7.89 GBに縮小され、tool callingに特化しました。ファイル名はIQ2-mixで、imatrixタグが付いています。Underdogはこのパスの完全なレシピを公開していません。Salukiはベンチマークでどのように機能しますか？Underdogはその結果を2つのグループに分けています。最初のグループは両方のモデルを同じハーネスで実行しました。Underdog Bench: BFCL v4の120タスク、テスト前にフリーズ。思考オフ、温度0。Salukiは88点、フルモデルは