AIの物理テスト、実は満点だった

AIが出した恐ろしい物理の点数は、多くの場合、テスト自体の問題でした。専門家が6つの人気ベンチマークを再確認したところ、ほとんどのモデルが「不合格」とされた原因は、間違った解答キー、曖昧な問題、そして採点者のバグにあることが判明しました。これらを修正すると、frontier modelsは突然ほぼ満点に見えるようになります。したがって、次の目標は、壊れたクイズでの別のリーダーボードではなく、より難しい人間製の試験であるべきです。