Anthropic、AIの追加機能を自動評価

Anthropicは、Claude Code向けの新しいplugin evalsワークフローを公開しました。claude plugin evalコマンドは、現実的なプロンプトに対してpluginを実行し、Claudeが生成したものを評価し、pluginがロードされていない状態での実行結果と比較します。これにより、plugin開発者がこれまで測定できなかった3つの疑問に答えます。それは、スキルがトリガーされるか、編集や新しいmodelに対応できるか、そしてbare modelに勝るか、です。展開可能: はい。Claude Code v2.1.269以降で、plugin.jsonまたは.claude-plugin/plugin.jsonマニフェスト、あるいはskills-directory pluginを含む任意のディレクトリに対して実行されます。すべてのeval実行およびjudge graderは、お客様のプランまたはAPIアカウントに請求される実際のmodel呼び出しです。ケースの様子 evalスイートは、plugin内のevals/ディレクトリに存在します。各ケースは、prompt.mdとgraders/フォルダを含むサブディレクトリです。プロンプト本文は記述されたとおりにClaudeに送られ、@pathメンションは展開されません。prompt.mdのFrontmatterでは、max_turns（デフォルト10）、timeout_seconds（デフォルト300）、model、tags、allowed_toolsを設定できます。Graderは、frontmatterでtype、オプションのweight、オプションのarmを設定するMarkdownファイルです。タイプは6種類あります。4種類は、トランスクリプトとディスク上のファイルから計算されるため、費用はかかりません: regex、tool_used、tool_order、file_exists。2種類はjudge modelを呼び出し、費用が発生します: llm（記述した散文的な基準に対して返信を採点します）とbaseline（参照回答と比較します）。claude plugin eval initはpluginを読み込み、良い結果がどのようなものかを尋ね、ケースとgraderを提案し、それらを試行し、ファイルを書き込みます。CIでは、--bare <name>は代わりに空白のテンプレートを書き込みます。重要な数字はΔです デフォルトでは、すべてのケースが2回実行されます。pluginがロードされるwith-armと、ロードされないwithout-armです。それらの差であるΔが、pluginが貢献したものです。もしケースが両方のarmで1.0と採点された場合、pluginが合格の理由ではありません。ドキュメントの出力例では、6回の実行でWITH 1.00、W/OUT 0.33、Δ +0.67の単一ケースが示されています。