AnthropicのAIに制御の課題

Anthropicは、AIエージェントが関わる最近のセキュリティインシデントについて、独立したレビューのためにMETRを招き入れることを計画しています。同社は最高リスクのRL effortsを一時停止している一方で、意図的に報酬を求めるバージョンのClaudeを作成した研究も共有しています。自社の商業的利益のためであっても、ペースを落とすことは困難です。Anthropicは、少なくとも短中期的な、そして現実的なalignment tasksをはるかに真剣に受け止め、これらの取り組みに多大なリソースを投入するようです。