AIが論文PDFから情報を整理

このチュートリアルでは、単純なデモ実行ではなく、制御された評価に焦点を当てて、Liftを中心としたPDFから構造化データへの完全な抽出ワークフローを構築します。私たちはまず、Colab互換のGPU環境を準備し、利用可能なハードウェアに適した精度モードを選択し、4-bit NF4 quantizationを介して、制約のある16 GB GPUでもLiftのバックエンドが確実に動作するようにモデルの読み込みをパッチします。そこから、検証対テストのメトリックの曖昧さ、ベースライン対提案モデルの比較、コードリリースがないケース、ブール値の最先端技術の主張など、意図的に妨害要素を配置した合成の複数ページ研究レポートを生成します。これにより、モデルがプレーンテキストではなくドキュメントのレイアウトからタイトル、著者、データセット、メトリック、ハイパーパラメータ、制限、リポジトリリンクを回復する必要がある、スキーマガイド付き抽出の現実的なテストベッドが提供されます。ランタイムと依存関係の構成 コードをコピー コピー済み 別のブラウザを使用 N_DOCS = 3 FORCE_FULL_PRECISION = False FORCE_4BIT = False SHOW_FIRST_PAGE = True RUN_ON_REAL_PDF = False REAL_PDF_URL = "https://arxiv.org/pdf/1512.03385" REAL_PDF_PAGES = "0-3" PIN_PILLOW = True PILLOW_VERSION = "11.3.0" import os, sys, subprocess, json, re, time, warnings warnings.filterwarnings("ignore") os.environ["TOKENIZERS_PARALLELISM"] = "false" def pip(*pkgs, upgrade=False): """Install without invoking a shell (so '[hf]' is never glob-expanded).""" args = [sys.executable, "-m", "pip", "install", "-q"] + (["-U"] if upgrade else []) + list(pkgs) print(" pip install", *pkgs) subprocess.run(args, check=False) print("STEP 1/7 · Installing lift + light dependencies (first run is the slow one)…") pip("reportlab", "pypdfium2", "pandas", "matplotlib") pip("lift-pdf[hf]") pip("bitsandbytes", "accelerate", upgrade=True) if PIN_PILLOW: pip(f"pillow=={PILLOW_VERSION}") if "PIL" in sys.modules: import PIL if getattr(PIL, "__version__", "") != PILLOW_VERSION: print(f" Pinned Pillow {PILLOW_VERSION} on dis