公開AIが安全対策の研究に挑戦

Cantina Securityは、Yeta Labsと共に、脆弱性研究のために特別に訓練されたオープンウェイトモデルであるapex-flash-1をリリースしました。これは、Z.aiのGLM-5.3-Flashを強化学習でfine-tuneしたもので、MITライセンスの下でHugging Faceで公開されています。展開可能でしょうか？はい、MITウェイトはvLLM、SGLang、またはTransformersで動作しますが、BF16には約640 GBのGPUメモリが必要です。 Cantinaが構築したもの apex-flash-1は、Hugging Faceのsafetensorsメタデータによると、合計321.3Bのパラメータを持っています。GLM-5.3-Flashのベースモデルは、18Bのアクティブパラメータを持つMixture-of-Expertsモデルです。Cantinaは、GRPOを使用して、rank-256 LoRAと選択的なfull-parameter trainingでこれを訓練しました。データは、50の実際の脆弱性ケースから構築された150のタスクをカバーしています。各ケースは、ガイド付きホワイトボックス、フォーカスされたホワイトボックス、フォーカスされたブラックボックスの3つのバリアントで提供されます。認証、ID、スコープの欠陥がケースの72%を占めます。会計と数値精度に関するバグが18%を追加し、時間検証、ビジネスルール、SSRFが残りをカバーします。HFのモデルカードによると、RL rolloutsは、本番環境のようなソフトウェアおよびプロトコル環境でCodexエージェントハーネス内で実行されました。 ベンチマーク結果 Cantinaは、20の未公開の脆弱性ケースから60のタスクを評価しました。各モデルは一度だけセットを実行し、プロバイダーの価格からコストを推定しました。 apex-flash-1: 60中40を解決 (66.7% pass@1)、約2.38ドル GLM-5.3-Flash (ベース): 60中36を解決 (60.0%)、約4.56ドル Claude Opus 5 High: 60中43を解決 (71.7%)、約74.68ドル Opusは3つ多くのタスクを解決しましたが、実行あたりのコストは約31倍でした。これは、apex-flash-1が解決されたタスクあたり約0.06ドルであるのに対し、Opusは約1.74ドルです。これらは、社内ベンチマークにおける企業報告の数値です。 オーケストレーターではなくワーカーモデル Cantinaは、apex-flash-1をより大きなモデルによってオーケストレーションされるワーカーとして位置付けています。モデルカードには、コードリーディング、ツール使用、エクスプロイト開発、検証がターゲットスキルとして挙げられています。実験的なapex-flash-1-abliteratedバリアントは、変更された拒否動作を伴って出荷されています。これは別途評価されていません。Cantinaの論理は、防御側が必要とするのは