検索AIの評価基準を公開、毎時更新

テスト対象が解答キーを読める場合、ウェブ検索APIをどのようにベンチマークするのでしょうか？検索エージェントはフェッチツールを持っています。もし正解ラベルが公開データセットにある場合、エージェントは評価中にそれらをダウンロードし、検索を完全にスキップできます。同様の問題は、答えがすでにモデルのパラメトリックメモリにエンコードされている場合にも発生します。この場合、正しい応答はウェブ検索が機能したことを示すものではなくなります。Keenableの答えはNEEDLEです。これは、クエリセットを固定するのではなく、新鮮な公開ソースから再構築するライブのオープンソースベンチマークです。ニュースクエリはRSSフィードとGoogle Trendsから1時間ごとに再生成され、金融、学術、法律、希少エンティティのクエリはSEC XBRL、arXiv、Europe PMC、CourtListener、および公開エージェントログから毎日再生成されます。15の検索APIが1つのプロトコルに基づいて同じクエリテキストに対して実行され、すべてのスコアはultimateという、業界全体が見つけられたものをマークするプールされたオラクルエンジンに対して読み取られます。再現可能でしょうか？はい、製品ではなくオープンソースの評価ハーネスとして可能です。needleはuv syncでインストールされ、ベンチマークごとにgenerateとrunの2つのサブコマンドで駆動されるPython CLIです。評価にはOpenRouter keyと、テスト対象のエンジンごとに1つのAPI keyが必要で、ラップトップまたはCIで実行できます。ランキング品質の判断に加えて、使用されているすべてのクエリストリームを再作成できます。NEEDLEが測定するもの NEEDLEは、News（ニュース）、Everyday（日常）、Expert（専門家）、Deep-tail（深層テール）、Legal（法律）の評価を表します。各分野は異なるエージェントの意図をモデル化しています。Newsは、約124の厳選されたRSSフィードとGoogle Trendsから最新の項目をキーワードクエリに変換します。Financeは、WikidataとGLEIFからの登録情報に加え、SEC XBRLからの四半期ごとの10-Q数値を要求します。Scholarは、1つの論文を4つのクエリスタイルに変換します。劣化したタイトル、全文のみの詳細、自然言語の手がかり、そして曖昧な「喉まで出かかっている」説明です。Deep-tailは、DeepResearchGym、OpenResearcher、LRATを含む公開エージェント軌跡リリースから希少語クエリをサンプリングします。Legalは最近のC