書類読み取りAIの性能を測る新基準

Datalabは、ドキュメントパーサー向けのオープンなOCRベンチマークであるOmniParseBenchをリリースしました。これは、2,343のドキュメントからなる2,937ページに対し、16,288のイエス/ノーテストでパーサーを採点します。ページは92の言語にわたります。データセットとコードは公開されています。これは、エンジニアがリーダーボードよりも鋭い質問に答えるのに役立ちます。「どのパーサーが自分のドキュメントのようなものを処理できるか？」Datalabはパーサーを販売しており、その最上位設定であるDatalab accurateは、ローンチ時のリーダーボードでGemini 3.8 Flashに次ぐ2位にランクインしています。展開可能か？はい。OmniParseBenchは評価ハーネスであり、モデルではありません。uv pip install omni-parse-benchでインストールでき、Python 3.11+が必要で、APIキーなしでオフラインで出力を採点します。TL;DR サイズ: 16,288テスト、2,937ページ、2,343ドキュメント、22スイート、92言語。動作環境: Python 3.11+を搭載した任意のマシン。採点にネットワークは不要です。ベンダーの実行には、各ベンダーのAPIキーが必要です。性能: 報告されている上位3システムは、ヘッドラインポイントで1.3ポイント以内に収まっています。最良: Gemini 3.8 Flashが92.9でリードし、Datalab accurateが92.7で続きます。* *一部のテストの構築に使用されました。結論: すべてのスコアは合否テストの割合であり、タグでスライス可能です。OmniParseBenchとは？OmniParseBenchはDatalabによるドキュメント解析ベンチマークであり、すべてのテストは1ページに関するイエス/ノーの質問です。パーサーのスコアは、それがパスしたテストの割合です。Datalabは、これを明確で、監査可能で、探索可能にするために構築しました。なぜ別のOCRベンチマークを構築するのか？Datalabは、既存のベンチマークには2つの問題があると述べています。olmOCR-benchは、合否のユニットテストが機能することを示しました。Datalabは現在、それを飽和状態と呼んでいます。Datalabの見解では、上位システムは読み取り能力ではなく、出力の慣習と過学習によって区別されています。各olmOCR-benchテストも、ページのソースによって設定された1つのバケットに属しています。手書きの表は、そのページが属するバケットに平均化されます。LlamaIndexのParseBenchは、解析を5つの機能に分割し、それぞれに独自のメトリックがあります。Datalabは、これらのスコアは単位を共有しないため、きれいに比較または結合できないと主張しています。OmniParseBenchの採点方法は？最終スコアは