AIが誤作動、会社システム停止
One Bad Prompt Took Down a Company’s Salesforce: RSA’s Jim Taylor on Agent ID and Taming the 4,000 Shadow AI Agents Hiding in Your Enterprise
AIへの誤った指示で企業のシステムが停止し、管理されていないAIが4000以上も潜むことが判明。AIの安全な運用が急務です。
AI agentsは、セキュリティチームが追跡できるよりも速いペースで本番環境に移行しています。これらはcredentialsを保持し、entitlementsを持ち、systems of record上で動作しますが、ほとんどの企業はどのagentが稼働しているのか、誰が所有しているのか、あるいは誰かがそれらを停止できるのかさえ把握できていません。Gartnerは、一般的なGlobal Fortune 500企業が2025年には15未満だったAI agentsを、2028年までに約150,000稼働させると予測していますが、組織のわずか13%しか適切なagent governanceを導入しているとは考えていません。サンフランシスコで開催されたThe AI Conferenceで、RSAは金融、政府、ヘルスケア、重要インフラなどの規制産業向けのagentic identity security platformであるRSA Agent IDを発表しました。私たちはRSAのPresident and Chief Product and Strategy OfficerであるJim Taylor氏に話を聞き、その仕組みを掘り下げました。なぜAgentがIdentity Modelを破壊するのか
「agentで何が変わるのか？すべてです。それらはservice accountではありません。staticでもありません。dynamicです。agentにタスクを与え、そのタスクの言葉遣いが悪ければ、agentはそれを実行するために必要だと判断したことは何でも実行します。agentは午前2時に疲れることはありません。ただ動き続けるだけです。」agentは時間の経過とともにpermissions、データ、accessを蓄積しますが、誰もフォローアップしません。「従業員は締め切りに間に合わせるためにagentを作成しますが、一度野放しになると、それでおしまいです。permissionsが変更されても確認しません。agentを削除したり無効にしたりもしません。」その規模は、規制対象企業でさえ驚くほどです。中規模のグローバル銀行は、ポリシーで禁止されているためagentはいないとRSAに伝えました。「agentはポリシーを尊重しない傾向があります」とTaylor氏は言いました。「私たちは監査を行い、その企業内で4,000以上のagentが稼働していることを発見しました。」IBMによると、shadow AIが関与するインシデントは、標準的なインシデントよりも平均で670,000ドル多く費用がかかります。
プロンプトがDenial-of-Service Attackになったとき
Taylor氏の失敗シナリオには、攻撃者は一切関与していませんでした。ある匿名の会社のcustomer success employeeが、顧客のhealth chartsを作成するために、「Salesforceに行ってすべてのデータを取得してきて」とagentに依頼しました。agentはd
この記事について質問
記事の内容に答えます。記事外のことは都度ウェブで調べます。