Googleが様々な情報をまとめるAI公開

Google DeepMindは、テキスト、コード、画像、動画、音声を768次元の単一の空間に埋め込むオープンモデルであるEmbeddingGemma 2をリリースしました。これは7億4000万のパラメーター、8Kトークンのコンテキストウィンドウ、Apache 2.0ライセンスを持っています。オンデバイス検索、分類、プライバシーファーストのRAGをターゲットとしています。この記事では、EmbeddingGemma 2がこの分野にどのように適合するかを分析、比較、紹介します。 展開は今日から可能か？はい。ウェイトはHugging FaceとKaggleで公開されており、Ollama、llama.cpp GGUF、LiteRTのビルドが現在利用可能です。 何がエンベディングモデルをするのか エンベディングモデルは、コンテンツを意味を捉える数値のベクトルに変換します。似たアイテムは近くに配置されるため、検索や比較が容易になります。RAGパイプラインでは、これらのベクトルによりLLMは学習していない新しい情報を取得できます。エンベディングをローカルで生成することで、データをデバイス上に保持し、遅延を削減し、オフラインで動作します。 あらゆるモダリティに対応する単一のベクトル空間 EmbeddingGemma 2はGemma 4アーキテクチャに基づいて構築されています。テキストクエリで写真を検索したり、ボイスメモでビデオクリップを検索したりできます。テキスト、画像、デモ動画を含む商品リストのような、複数の入力が混在するケースでも、単一のエンベディングを生成します。 設計はモジュール式です。3つの部分で構成されています。 テキストとコードのバックボーン: 2億7000万パラメーター（1億3000万のtransformerと1億4000万のembedder） ビジョンエンコーダー: 1億7000万パラメーター、オプション オーディオエンコーダー: 3億パラメーター、オプション 開発者は必要なものだけをロードできます。テキストのみなら2億7000万、テキストとビジョンなら4億4000万、テキストとオーディオなら5億7000万、すべてなら7億4000万です。すべてのセットアップは単一のベクトル空間を共有します。テキストのみのセットアップで埋め込まれたクエリは、フルモデルによって埋め込まれたドキュメントと一致させることができます。コンテキストウィンドウは8,192トークンで、バージョン1の4倍の大きさです。これは約29枚の画像、58フレームの動画、または5.5分の音声に相当します。 ベンチマーク Googleの研究チームは、MTEB CodeおよびMAEBにおいて、10億未満のマルチモーダルエンベッダーの中で最高のスコアを報告しています。768次元でのフルプレシジョン結果： ベンチマーク EmbeddingGemma 2 EmbeddingGemma 1 MTEB multilingual v2 61.36 61.15 MTEB Code v1 78.68 68.76 MIEB lite (i