AIがAIの道具を自作？半分成功

エージェントハーネスとは、モデルを取り巻くコードのことです。具体的には、実行ループ、ツール、コンテキスト、状態、回復、検証などが含まれます。Terminal-Bench 2.1のリーダーボードによると、GPT-5はTerminus 2内で35.2%のタスクを解決しますが、Codex CLI内では同じ重みで49.6%を解決します。ほとんどのベンチマークでは、そのハーネスは固定されています。ByteDance Seed、Singapore University of Technology and Design、Georgia Institute of Technology、M-A-P、およびTokenWave.AIの研究者チームによって提案されたHarnessDevは、評価対象を反転させます。評価される成果物は、モデルが生成する答えではなく、モデルが書いた実行可能なハーネスです。2つのステージがあります: CreationとEvolution。Creationステージでは、すべてのクリエーターは同じ弱いシードを受け取ります。これには、受動的なファイル、検索、プロセスプリミティブに加えて、結果および軌道ライターが含まれ、ループ、プランナー、ベリファイア、リトライ、または停止ルールは含まれません。修正されていない状態では、どこでも0点を記録します。クリエーターは、タスクファミリーの仕様、短いデザインチュートリアル、および1〜3の開発ケースを受け取り、完全なハーネスを構築します。このハーネスは、隠されたタスクの前に凍結されます。Evolutionステージでは、クリエーターは自身の凍結されたCreationコードハーネスから開始し、100のSWE-bench Proタスクと89のTerminal-Bench 2.1タスクの固定セットからの実行フィードバックを使用してそれを修正します。各公式候補は、10ペアの予算と、ペア間に最大2つの5タスクプローブで、両方の評価をペアとして完了する必要があります。すべての公式バージョンは、クリエーターが一度も見たことのない630の未公開SWE-Proインスタンスで後で採点されます。ハーネスは、能力（タスクの成功）と効率（クリエーターのトークンを除いたエグゼキューターのトークン）に基づいて評価されます。6つのクリエーターLLMがテストされました: Opus 4.8、GPT-5.5、Gemini 3.1 Pro、DeepSeek V4 Pro、Qwen 3.7 Max、およびSeed 2.0 Proで、これらはClaude Code 2.1.177内で動作しました（GPT-5.5はCodex 0.144.3を使用）。Creationは4つのドメインと5つのベンチマークにまたがり、合計2,207インスタンスです: SWE-bench Pro public split (731)、Terminal-Bench 2.1 (89)、MLE-bench (75)、EQ-Bench3 (46)、およびBrowseComp (1,266)。各クリエーターはベンチマークごとに3つのハーネスを構築し、avg@3として報告されます。Self-Evalは各