deepDoctectionで書類を自動解析

このチュートリアルでは、deepDoctection 1.2.x を使用して、レイアウト検出、表構造認識、OCR、読み取り順序の再構築、アノテーションのリンク、構造化されたエクスポートを単一のワークフローに組み合わせたドキュメントインテリジェンスパイプラインを実装します。アナライザーを DocLayNet ベースのレイアウト検出、Table Transformer 構造認識、および DocTR OCR で明示的に構成し、結果の Page オブジェクトを検査して、deepDoctection がテキスト、図、表、関係、出所、および読み取り順序をどのように表現するかを理解します。また、カスタムオブジェクトタイプを登録し、独自の PipelineComponent を実装して、文書を表の特性によって分類しながら、金額と日付のエンティティを抽出することでフレームワークを拡張します。最後に、ServiceFactory を使用してカスタムパイプラインを手動で組み立て、フィルタリングとサービスロールバックを探索し、処理されたページをシリアル化し、文書アノテーションをダウンストリームの RAG および検索システムに適した順序付けられた JSONL チャンクに変換します。

コードをコピーしました 別のブラウザを使用してください !pip install -q "deepdoctection" "transformers>=5.2.0" "timm" "python-doctr" "pdfplumber" "networkx" "lxml" import os os.environ["DD_USE_TORCH"] = "True" os.environ["DPI"] = "200" os.environ["LOG_LEVEL"] = "INFO" os.environ["ENABLE_DYNAMIC_OBJECT_TYPES"] = "False" import json, re, textwrap from pathlib import Path from collections import Counter import numpy as np import matplotlib.pyplot as plt from IPython.display import HTML, display import deepdoctection as dd print("deepdoctection:", dd.__version__) import transformers.integrations.peft as _hf_peft if _hf_peft.is_peft_available(): _hf_peft.is_peft_available = lambda: False print("patched: PEFT adapter lookup disabled for from_pretrained") !mkdir -p /content/docs /content/imgs !wget -q -O /content/docs/paper.pdf \ Click to access 2312.13560.pdf !wget -q -O /content/imgs/finance.png \ https://raw.githubusercontent.com/deepdoctection/notebooks/main/sample/finance/1bcac3899c9cb1c0b0f650b1431d3d52_7.p