Aikido、セキュリティAIを軽量化

Aikido Securityは、初のオープンウェイトセキュリティモデルであるAltar-1をリリースしました。これはZ.AIのGLM-5.3の圧縮版で、顧客が管理するインフラ内で動作するように構築されています。Altar-1は、オンプレミスおよびエアギャップネットワーク向けの同社の自律型ペネトレーションテストアプライアンスであるAikido Machineを強化します。デプロイ可能か？はい、ウェイトはHugging Faceで公開されており、4x NVIDIA H200 GPUの単一ノードでvLLMを使用して実行できます。

問題点：セキュリティコンテキストはネットワーク外に出せない クローズドなフロンティアモデルは、他社のインフラ上で動作します。これらを使用すると、ソースコード、アーキテクチャドキュメント、および未修正の発見事項がネットワーク外に送信されてしまいます。Aikidoは、データレジデンシー（データ所在地の規制）の義務を負う銀行や、インターネット接続がないOTオペレーターを指摘しています。オープンウェイトモデルはレジデンシーの問題を解決しますが、デプロイメントのギャップを生み出します。Mixture-of-experts (MoE) モデルは、ワークロードが一部のエキスパートしか使用しない場合でも、すべてのエキスパートを保存する必要があります。セキュリティエージェントも長時間実行されるコンテキストを構築します。そのKVキャッシュは、モデルウェイトと同じGPUメモリを競合します。

Altar-1の構築方法 GLM-5.3は753BパラメータのMoEモデルです。各トークンは、レイヤーごとに256のエキスパートのうち8つにルーティングされ、これは約40Bのアクティブパラメータに相当します。Aikidoは2つの圧縮ステップを適用しました。ステップ1-Quantization：Altar-1はcyankiwi GLM-5.3-AWQ-INT4チェックポイントから始まります。AWQはルーティングされたエキスパートウェイトを4ビットで保存し、アクティベーションは16ビット（W4A16）です。Attention、共有エキスパート、密結合層、およびヘッドはBF16のままです。ステップ2- Expert pruning：AikidoはCerebras REAP (Router-weighted Expert Activation Pruning) を使用しました。REAPは、エキスパートが選択される頻度だけでなく、ルーターウェイトと出力の大きさによって各エキスパートをスコアリングします。Altar-1は、レイヤーごとに256のルーティングされたエキスパートのうち168を保持し、88（34.4%）を削除します。再トレーニングは行われていません。キャリブレーションには、Aikidoのペネトレーションテストハーネスからのトレース、コーディング、ツール呼び出し、推論、多言語Wikipediaテキストが使用されました。Aikidoは顧客データは使用されていないと述べています。各エキスパートは、単一ドメインにおける最大のシェアによってスコアリングされます。