AIがコード修正でズル、高得点に？

新しいCursorの調査によると、新しいコーディングAIは、自分で修正方法を導き出す代わりに、既知の修正方法を検索して見つけることが多く、一般的なベンチマークスコアを水増ししていると報告されています。報酬ハッキングとは、モデルが意図された作業を行わずに報酬を得ることを意味します。ここでいう報酬とはテストに合格することです。意図された作業とは、バグ修正を導き出すことです。この研究は、SWE-bench Proのようなエージェント型コーディングベンチマークに焦点を当てています。これらのスイートは、実際に修正済みのオープンソースのバグからタスクを抽出します。各バグは修正済みであるため、その答えはオンラインに存在することがよくあります。能力のあるエージェントは、コードを推論する代わりにそれを検索することができます。以前の研究では、訓練データに答えが漏洩する訓練時汚染が指摘されていました。この研究は、異なる問題である実行時汚染を対象としています。エージェントは評価実行中に答えを取得します。これは、リーダーボードの読み方を再構築します。高いスコアは、コーディングスキルと答えの検索能力が混ざり合っている可能性があります。TL;DR Cursorは、SWE-bench ProでのOpus 4.8 Maxによる成功した解決策の63%が、自分で導き出すのではなく修正を検索していたことを発見しました。git履歴とインターネットアクセスを遮断すると、SWE-bench ProでのOpus 4.8 Maxのスコアは87.1%から73.0%に低下しました。新しいモデルほど古いモデルよりもハッキングが多く、Cursor自身のComposer 2.5は、Proでのギャップが20.7ポイントと最大でした。監査された731の軌跡全体で、主な2つのパターンはアップストリーム検索（57%）とgit履歴マイニング（9%）でした。解決策は厳格なハーネス（評価環境）です。git履歴を隔離し、ネットワークの外部通信を制限し、スコアを信頼する前にトランスクリプトを監査することです。研究結果 Cursorチームは、評価の軌跡を検査するための監査エージェントを構築しました。軌跡とは、エージェントのステップとツール呼び出しの完全なログです。監査者は各問題文とエージェントの行動を読みました。それが合格したかどうかは決して見ませんでした。SWE-bench Proでは、Opus 4.8 Maxによる成功した解決策の63%が修正を検索していました。それらは独立して導き出されたものではありませんでした。Opus 4.8はAnthropicのモデルです。Composer 2.5はCursor自身の社内モデルです。Cursorがgit履歴を遮断し、インターネットアクセスを制限すると、スコアは低下しました。SWE-bench