Perplexityが小型・高性能AI発表

Perplexityは、ColBERTスタイルのマルチモーダルembeddingモデル「pplx-embed-v2-late」のペアをリリースしました。これらは2つのサイズで提供されます。高速で安価なクエリには0.6B、最高の品質には9Bです。どちらのモデルもテキスト、画像、レンダリングされたPDFページを取得し、1つのembedding spaceを共有します。デプロイ可能か？はい、自分でホストすれば可能です。両モデルはMITライセンスの下、Hugging Faceで公開されています。ホストされたPerplexity APIエンドポイントは計画されていますが、まだ稼働していません。<br>TL;DR 最良点: 0.6Bモデルは画像に約340Mのアクティブパラメータを使用し、8Bの競合モデルに匹敵する性能を維持します。9Bのインデックスは0.6Bのクエリで検索でき、0.6Bのクエリコストで9Bの品質ギャップの約半分をテキストで回復します。その128-dimのトークンベクトルは、2,048〜4,096 dimsの競合モデルよりも16倍から32倍狭いです。MITライセンスで商用利用も可能です。<br>最悪点: トークンごとに1つのベクトルを保存するため、インデックスサイズはドキュメント長に比例して増加します。ViDoRe v3画像検索では1位ではありません。TencentのEVIEの方が高いスコアを出しています。単一の入力でテキストと画像を混在させることはできません。すべてのスコアは自己申告であり、技術レポートはまだ公開されていません。<br>モデルサイズと動作環境の指標<br>pplx-embed-v2-late-0.6b / pplx-embed-v2-late-9b<br>総パラメータ数: 594M / 9B (Hugging Faceでは8Bと記載)<br>アクティブパラメータ数: テキスト約240M、画像340M / 7.4B<br>ベースモデル: Qwen3.5-0.8B、12テキストレイヤーに剪定 / Qwen3.5<br>出力: トークンあたり128 dims / トークンあたり128 dims<br>メモリ内の重み (bf16、推定): 約1.2 GB / 約16〜18 GB<br>想定されるマシン: ラップトップ、edge deviceまたは小型GPU / データセンターまたは大容量GPU<br>Perplexityが提案する役割: ライブクエリエンコーダー、100%ローカル / ドキュメントインデックスの構築<br>Perplexityは、0.6Bモデルをedge deviceでも動作する軽量なクエリエンコーダーとして設計しました。両モデルカードはCUDA GPUの使用を示しています。これらはsentence-transformers >= 6.0.0とtransformers >= 5.4.0を必要とします。メモリの数値は、重みのみでパラメータあたり2バイトと推定したものです。公開されているチェックポイントはF32で保存されており、ダウンロードサイズが2倍になります。<br>性能評価: 最良点と最悪点<br>以下のすべての数値は