Jina AI、安価なAI計算機で動く書類読み取りAIを発表

Elasticの一部であるJina AIは、エンドツーエンドの視覚的ドキュメントパーサーであるjina-ocr-v1をリリースしました。これはPDF、スキャン画像、表、グラフ、請求書を受け取り、1回の処理でクリーンなMarkdownを返します。 このモデルは合計34億のパラメーターを持ち、1トークンあたり約5億7000万のデコーダーパラメーターがアクティブになります。speculative decodingヘッドがチェックポイント内に搭載されています。Jina AIは、NVIDIA L4のような低予算のGPUで動作するようにこれを構築しました。 技術レポートによると、OmniDocBench v1.6で91.14、olmOCR-Benchで83.4を記録しています。デプロイ可能でしょうか？はい、研究および非商用利用向けです。オープンウェイトはBF16で約6.8 GBあり、TransformersまたはvLLMで動作します。CC BY-NC 4.0ライセンスは、商用利用にはJina AIへの連絡が必要であることを意味します。 jina-ocr-v1とは何ですか？このモデルはDeepSeek-OCRを後から訓練し、その2つの効率化コンポーネントを保持しています。DeepEncoderは約3億8000万のパラメーターを持ち、SAM、16倍の畳み込みコンプレッサー、CLIP-Lを連結しています。これは1024x1024のページビューを4,096個のパッチから256個のビジュアルトークンに変換します。ダイナミック解像度モードでは、それぞれ100トークンのローカルタイルを最大9個追加します。これにより、1ページあたり最大1,156個のビジュアルトークンになります。 デコーダーはDeepSeek-3B-MoEで、12層、64のrouted experts、2つのshared expertsで構成されています。Top-6ルーティングにより、1トークンあたり約5億7000万のパラメーターがアクティブになります。position limitは32,768です。出力はMarkdownで、表はHTML、数式はLaTeXで表現されます。 FastMTP Speculative Decodingの仕組み OCRの出力はほぼ決定論的で局所的に構造化されています。これにより、speculative decodingに適しています。Jina AIはFastMTPヘッドを追加しました。これは、K=3ステップで再帰的に適用される1つのdense draft blockです。draft parametersは深度が増しても一定を保ちます。その後、デコーダーはdraftsを貪欲に検証します。自身の選択と一致する最長のプレフィックスを受け入れ、さらに1つのトークンをコミットします。もし3つのdraftsすべてが一致した場合、その追加トークンはボーナスとなります。コミットされたテキストは常に通常のgreedy decodingと同じであるため、速度向上はロスレスです。K=3の場合、このモデルは平均して1ステップあたり2.73トークンをコミットします。