AI評価の難しさ増す新基準

SWE-BENCH PRO V2が、以前のタスクエラーを修正し、評価プロセスを最適化して、11のリポジトリから642のタスクとともにリリースされました。AIモデルのパフォーマンスは低下し、OpenAI GPT-5やClaude Opus 4.1でさえ、公開セットでは約23%しかスコアを出せず、SWE-Bench Verifiedと比較して、このベンチマークの挑戦度と現実性が増したことを浮き彫りにしています。注目すべきは、トップモデルがタスクや言語間で一貫した結果を示す一方で、小規模なモデルは複雑な複数ファイルシナリオで苦戦している点です。