研究marktechpost2026-08-04

AIが画像で文書を検索する技術

Pixel-Native RAG: A Practical Guide to Visual Document Indexing

AIが文書を画像として処理し、見た目通りの検索を可能にする新技術ガイドが公開。従来のテキスト解析の限界を超え、より正確な情報検索が期待されます。

このチュートリアルでは、完全なpixel-native retrieval-augmented generationパイプラインを一から構築し、従来のHTML解析、テキスト抽出、または固定チャンク戦略に依存せずに文書検索がどのように機能するかを検証します。私たちはウェブページとPDF文書を画像としてレンダリングし、それらを重複するタイルに分割し、SigLIP、CLIP、またはオプションのQwen3-VLバックエンドを使用してマルチモーダルembeddingsを生成し、結果として得られるベクトルを効率的な類似性検索のためにFAISS indexに保存します。また、OCRベースのBM25スコアリングとreciprocal rank fusionで検索を強化し、タイルレベルの証拠を文書レベルの結果に集約し、FastAPI検索サービスを通じてシステムを公開します。その過程で、Recall@kとmean reciprocal rankを使用して検索品質を評価し、contrastive learningで軽量なresidual adapterをトレーニングし、取得したスクリーンショットを視覚化し、オプションで最も強力な証拠タイルをvision-language modelに渡し、根拠に基づいた回答生成を行います。 Copy Code Copied Use a different Browser import os import sys import io import re import json import time import math import shutil import hashlib import asyncio import logging import argparse import threading import subprocess from pathlib import Path from dataclasses import dataclass, field, asdict from typing import List, Dict, Any, Optional, Tuple @dataclass class Config: urls: List[str] = field(default_factory=lambda: [ "https://en.wikipedia.org/wiki/Retrieval-augmented_generation", "https://en.wikipedia.org/wiki/Vector_database", "https://en.wikipedia.org/wiki/Transformer_(deep_learning_architecture)", "https://en.wikipedia.org/wiki/Photosynthesis", "https://en.wikipedia.org/wiki/Delhi", ]) include_synthetic_pdf: bool = True tile_width: int = 1024 tile_height: int = 1024 tile_overlap: int = 128 device_scale: float = 1.0 max_page_height: int = 24000 max_tiles_per_doc: int = 12 min_tile_height: int = 200 blank_std_threshold: float = 6.0 dedup_hamming: int = 4 nav_timeout_ms: int = 60000 headless_args:

元記事を読む→

この記事について質問

記事の内容に答えます。記事外のことは都度ウェブで調べます。