AIが多数で動く時の失敗

Anthropicは、最先端のAIエージェントにおける個々の無害な振る舞いが、多数のエージェントが共有環境で相互作用する際に、どのように複合してシステム全体の失敗につながるかを調査しました。この研究は、confabulation、reward hacking、そして人間社会の制度が監視できるよりも速く予期せぬダイナミクスが出現するリスクを強調しました。