AIの書類読み取り、公平な評価へ

Datalabは、構造化文書抽出のためのオープンなベンチマークであるOmniExtractBenchを公開しました。これは、システムがPDFからJSON schemaをどれだけ正確に埋められるかをテストします。このベンチマークは、既存の4つのベンチマークから620の文書を集めています。一つの決定論的な採点器がそれらすべてを採点し、それぞれの決定を説明します。この公開は、抽出ベンダーが独自のリーダーボードを公開している中で行われました。Datalabは、それらのリーダーボードは比較したり監査したりするのが難しいと主張しています。OmniExtractBenchは、共通の評価基準を確立しようとする試みです。展開可能でしょうか？はい、採点器はPyPIからomni-extract-bench（v0.1.7、Python 3.11+、SciPyのみ）としてApache 2.0ライセンスでインストールできます。ベンダーを再実行するには、独自のAPIキーと有料クレジットが必要です。OmniExtractBenchとは？OmniExtractBenchは、Datalabによって構築された構造化抽出ベンチマークです。各タスクでは、システムにPDFとJSON schemaが与えられます。システムはJSONを返し、それがゴールドファイル（正解データ）と照合され、値ごとに採点されます。コードはGitHubに、データはCC BY 4.0ライセンスでHugging Faceにあります。ターゲットとする4つの欠陥 Datalabの公開記事では、既存の抽出ベンチマークにおける4つの繰り返し発生する問題が挙げられています。偏り（Bias）：文書や採点が、ベンチマークを構築したベンダーに有利になる可能性があります。不透明なハーネス（Opaque harnesses）：低いスコアが、モデルの弱さではなく、壊れたハーネス（評価システム）を反映している場合があります。不明瞭な採点（Unclear scoring）：読者が、特定の文書がなぜ低いスコアになったのかを判断できません。狭い文書の種類（Narrow document variety）：一部のスイートは密なテーブルのみを保持し、他はクリーンでスキャンされていないファイルのみを保持しています。620の文書の出所 スイート 文書数 上流パブリッシャー 内容 ExtractBench 329 LlamaIndex フォーム、提出書類、デッキ Internal 202 Datalab（合成） 密なスカラーschema、小さな文書 LongExtractBench 47 micro1（Reductoが委託） 非常に大きなテーブル LongArray-Extract 42 Extend 繰り返しスカラーを含む大きなテーブル 規制当局への提出フォームが最大のカテゴリで、88文書を占めます。128文書は単一ページです。反対に、100ページを超える33文書が全ページの40%を占めています。Datalab独自の合成スイートは2番目に大きな割合を占めています。採点器の仕組み T