プログラミングAI評価に課題

Separating signal from noise in coding evaluations

OpenAIが人気のプログラミングAI評価基準「SWE-Bench Pro」に信頼性の問題があると指摘し、AIモデルの正確な評価の難しさが明らかになりました。