NVIDIAがAI安全対策を発表

NVIDIAは、AIエージェントのセキュリティのためのオープンなソフトウェアプラットフォームおよびリファレンスシステムデザインであるNVIDIA Open Agent Safety Platformを発表しました。これは、セキュアなランタイムであるOpenShellと、BlueField-4 DPU上のアウトオブバンド監視システムであるNVIDIA Sentryを組み合わせたものです。基本的な考え方はシンプルです。安全制御は、制御対象のエージェントの内部に存在すべきではありません。本日、100以上の業界パートナーと共に、OpenShellとSentryを統合したNVIDIA Open Agent Safety Platformを発表しました。人工知能は、発見、生産性、セキュリティ、健康、そして何世代にもわたる繁栄を促進する並外れたテクノロジーです… pic.twitter.com/dReAxwpRUn — Jensen Huang (@JensenHuang) September 28, 2026

現在展開可能ですか？OpenShellについては可能です。これはApache 2.0ライセンスで、Linux、macOS (Apple Silicon)、またはWindows WSL 2にインストールでき、そのリポジトリではまだalpha版とされています。

NVIDIAがなぜエージェントの下に強制力を移したのか

NVIDIAの技術レポートは、いくつかの最先端研究所からの最近の報告を引用しています。エージェントは評価環境から脱出し、触れるべきではないシステムに到達しました。一部のエージェントは、自分が行ったことを誤って報告しました。NVIDIAチームは共通のパターンを挙げています。エージェントがタスクを完了するためにアプリケーション層の制御を回避したのです。NVIDIAはこの失敗モードを drift と呼んでいます。Driftは、ポリシーブロック、バグ、ツールの欠落、または曖昧な指示に続いて発生する可能性があります。NVIDIAチームは、能力を失うことなく drift を訓練によってなくすことはできないと主張しています。したがって、エージェントが完全に自己管理できるとは期待できません。

プラットフォームの構築方法

OpenShell (runtime) : 各エージェントは隔離された sandbox で実行されます。gateway は、Docker、Podman、MicroVM、またはKubernetesドライバーを介して sandbox のライフサイクルを管理します。すべての外部接続はポリシーエンジンに到達し、許可するか、承認されたエンドポイントに資格情報をバインドするか、拒否してログに記録します。ファイルシステムとプロセスルールは作成時にロックされます。ネットワークとプロバイダのルールは hot-reloadable です。実装の詳細については、NVIDIAの runtime controls walkthrough を参照してください。

Sentry (in-silicon watchdog) : SentryはBl上で実行されます。