Supabase、AIのコード作成を評価するツールを公開

Supabaseは、AIエージェントがSupabaseを使ってどれだけうまく構築できるかをテストするためのベンチマークおよびフレームワークである「Supabase Evals」をオープンソース化しました。これは、Claude Code、Codex、OpenCodeなどのコーディングエージェントを、スキーマの構築、失敗したEdge Functionのデバッグ、壊れたRLSポリシーの修正といった実際のタスクに対して実行し、その結果を採点します。これは、supabase.com/evalsの公開リーダーボードと、毎日監視される社内回帰テストスイートを支えています。デプロイ可能か？はい、本日より可能です。supabase/evalsはApache-2.0ライセンスの下で公開されており、pnpmを介してローカルで実行できます。対象業界：開発者ツール、クラウドインフラストラクチャ、データプラットフォーム、およびフィンテックやヘルスケアにおける規制対象のバックエンド。これらの分野では、エージェントが誤ったRLSポリシーを作成することがセキュリティインシデントにつながる可能性があります。アプリケーション：ドキュメントやスキル編集の回帰テスト、SDKリリースのゲート、エージェントハーネスの直接比較。制約：ローカルスタックの実行には、Dockerデーモン、プロバイダーAPIキー、およびポート54321〜54329が空いている必要があります。ハーネスの仕組みSupabaseは3つの側面を定義しました。製品（database, auth, storage, edge-functions, realtime, cron, queues, vectors, data-api）、トピック（RLS, security, migrations, SQL, SDK, observability, self-hosting, tests, declarative-schema）、およびステージ（build, deploy, investigate, resolve）です。次に、サポートチケット、バグレポート、GitHub issuesに基づき、各側面を一度ずつ触れる最小のシナリオセットを選択しました。シナリオは2つのスイートに分かれています。ベンチマークシナリオは広範囲をカバーし、公開されています。回帰シナリオは既知の失敗モードをカバーし、毎日更新されますが、公開スコアには影響しません。すべてのシナリオは実際の環境で実行されます。このフレームワークは、ホスト型のようなスタックとローカルのCLIプロジェクトをコンテナ内で起動するため、エージェントは実際のMCPサーバーとCLIを呼び出します。プラットフォームライトランタイムは、@supabase/liteによってバックアップされたManagement API互換のインターフェースを公開します。採点には、決定論的なチェックとLLM-as-a-judge（AIによる評価）が組み合わされています。エージェントは採点前に1回の再試行が許されます。各evalディレクトリには、PROMPT.md（タスクとフロントマター）、EVAL.ts（スコア