AIがAIを作る能力を評価

Hyper-𝜏-benchは、開発者エージェントをサンドボックス化されたワークスペースに配置します。そこには、シミュレーションされたビジネスの記録と、いつでもメッセージを送れるシミュレーションされたクライアントがあります。開発者エージェントは、証拠から仕様を回復し、アーキテクチャを設計し、ビジネスの行動をツールに変えて、機能する顧客サービスエージェントを構築します。完成したエージェントは、会話あたりのコスト予算内で、固定されたモデルメニューからサービスを提供しなければなりません。Claude Codeで実行されているClaude Opus 5（最大の推論能力）は、単独で作業した場合、評価タスクのわずか23.9%しかクリアできません。深い文脈を持つエンジニアとペアになった場合、同じクラスのモデルは同じタスクで82.2%に達します。