AIが答えと根拠を探す新技術

Perplexity Researchとturbopufferは、RAGパイプライン向けの文脈埋め込みモデル「pplx-embed-v2-context-9b-preview」をリリースしました。各チャンク（情報のまとまり）は、文書全体を考慮して埋め込まれます。真の変更点は、学習信号です。このモデルは、単一の「gold passage」ではなく、答えとその答えを検証するために必要な文脈（コンテキスト）を一緒に検索するように学習します。 展開可能か？はい、自己ホスト型プレビューとして利用可能です。モデルの重みはMITライセンスのもとHugging Faceで公開されています。読み込みには transformers>=5.4.0 と trust_remote_code=True が必要です。まだPerplexity APIでは利用できません。モデルカードには、重みとインターフェースが後方互換性なしに変更される可能性があると記載されています。 なぜgold passageでは不十分なのか RAGシステムは、長い文書をチャンクに分割します。チャンクは、多くの場合、他の場所で述べられているエンティティ、見出し、または定義に依存します。文脈モデルは、これを late chunking で解決します。文書は一度にエンコードされ、その後チャンクごとにプールされます。しかし、学習では通常、クエリごとに1つの gold chunk がマークされます。答えを確認できる文を含む他のすべてのチャンクはネガティブ（負例）になります。Perplexityはさらに3つの問題を挙げています。バイナリラベルは粗い信号しか与えません。LLMによるアノテーションコストはデータセットのサイズに比例して増加します。また、ラベルは1つのチャンキング戦略に縛られます。 学習の仕組み ティーチャーはPerplexityの query-aware context compression model です。これはクエリと文書を一緒に読み込み、すべてのトークンにスコアを付けます。チャンクの関連性：各チャンク内の上位n個のトークンスコアの平均。ソフトターゲット：ポジティブな文書内のチャンクに対する温度スケーリングされた softmax。他の文書内のチャンクはゼロになります。Distillation loss：ティーチャーとスチューデントの分布間の forward KL divergence。Document loss：ColBERTの MaxSim に触発され、文書がその最良のチャンクとしてスコア付けされる InfoNCE。各バッチはランダムなチャンキング戦略をサンプリングします。チャンクは学習された <|chunk_sep|> トークンで区切られ、平均プールされます。ティーチャーは学習中のみ実行されるため、推論にはレイテンシやストレージの追加はありません。このモデルは、in-