AIツールの性能を比較した研究

Bustamanteは、Codex CLI、Claude Code、GitHub Copilot CLIを分析し、最前線の研究所が特定のハーネスに対してモデルをトレーニングしたことを示しています。これにより、ツール名、スキーマ、引用タグ、メモリ儀式、システムプロンプトの構造が重みの中に組み込まれています。Terminal-Bench 2.0のデータがこの仮説を裏付けており、Claude Opus 4.6はForgeCodeで79.8%を記録し、Capyでは75.3%でした。また、Cursorはハーネスを変更するだけで「トップ30からトップ5」にランクアップしました。一方、OpenAIのモデルはパッチベースのファイル編集をデフォルトとし、Anthropicのモデルは文字列置換に依存しており、ミスマッチが推論トークンに影響を与えています。