PDFをJSONに変換するAI

ほとんどの企業データは、いまだにPDF、スキャン画像、スライド資料の中に存在しています。大規模言語モデルやエージェントは、これらのデータが構造化されたJSONになるまで利用できません。オープンソースの文書抽出は、自社のハードウェアでその変換を行う標準的な方法となっています。 2つの異なる問題が「PDFからJSONへ」という言葉の裏に隠されています。1つ目は「スキーマ駆動型抽出」です。これは、あなたがフィールドを定義し、モデルがそれらの値を埋めるものです。2つ目は「文書解析」です。これは、モデルがページを構造化されたJSONまたはMarkdownに再構築するものです。ほとんどのチームはどちらか一方、時には両方を必要とします。間違ったカテゴリを選択すると、かなりの時間を無駄にします。 コストとプライバシーの観点から、オープンウェイトがここでは重要です。プロプライエタリなAPIは、100万ページあたり数千ドルの費用がかかる可能性があり、文書を外部に送信する必要があります。ローカルモデルは、これら両方の制約を取り除きます。以下に、実際に何を行うかによってグループ分けされた、評価に値するモデルとツールキットを紹介します。 2つのカテゴリ、1つのフレーズ スキーマ駆動型抽出は、文書とJSONスキーマを受け取り、定義されたフィールドの値を返します。これは、請求書、フォーム、契約書、領収書など、事前にフィールドが分かっている場合に使用します。 文書解析は、文書自体を再構築します。レイアウト、読み取り順序、テーブル、数式、コードを検出し、JSONまたはMarkdownとしてエクスポートします。これは、retrieval-augmented generation (RAG) やエージェントのためにクリーンなコーパスを準備するために使用します。 カテゴリ1：スキーマ駆動型構造化抽出 Datalab lift liftは、MarkerとSuryaの開発チームであるDatalabによる9Bのビジョンモデルです。JSONスキーマを渡すと、liftはそれに一致するJSONを返します。Schema-constrained decodingにより、出力が有効なJSONであることが保証されます。このモデルはQwen 3.5をベースにしており、Hugging Faceを通じてローカルで、またはvLLMサーバーを通じてリモートで実行できます。複数ページにわたる値を含む複数ページの文書を一度のパスで処理します。CLI、Python API、およびスキーマの構築とテストのためのStreamlit「Schema Studio」を提供しています。 Copy Code Copied Use a different Browser pip install lift-pdf # Start the vLLM server, then extract to