コヒアが新しいAIモデルを発表

Cohereは、新しい埋め込みモデルファミリーであるEmbed 5をリリースしました。これは、企業検索、RAG、およびエージェントによる情報検索を対象としています。 このモデルファミリーは2つの階層で提供されます。Embed 5 Proは最高の情報検索品質を目指し、Embed 5 Fastはライブクエリパスでの遅延とコストを目標としています。どちらもテキスト、画像、およびテキストと画像を融合した入力に対応しています。また、100以上の言語をカバーし、最大128Kトークンを読み取ることができます。 主要な設計上の選択肢は、ProとFastが1つの埋め込み空間を共有している点です。これにより、一方を使ってインデックスを作成し、もう一方を使ってクエリを実行することができます。本日中に展開可能でしょうか？はい、両方の階層がCohere APIおよびModel Vault、Microsoft Foundry、Amazon SageMakerで一般提供されています。プライベートVPCまたはオンプレミスでの提供はvLLMを通じて実行されます。 Cohereが提供したもの Cohereのモデルドキュメントによると、APIモデルIDはembed-v5.0-proとembed-v5.0-fastです。どちらも2048、1536、1024、768、512、または256次元を出力し、デフォルトは2048です。埋め込みはfloat、int8、またはbinary形式で返されます。Proは100万テキストトークンあたり0.12ドル、Fastは0.08ドルです。画像入力は両方とも100万トークンあたり0.40ドルです。 Embed 5はページ画像を直接埋め込むことができます。また、画像とそのメタデータを単一のベクトルに融合することも可能です。これは、テキスト抽出で情報が失われるスキャンされたページ、スライドデッキ、回路図、チャートにとって重要です。 ProとFast: 1つのインデックス、2つのクエリパス Cohereは、40の開発データセットにわたるすべてのコーパスとクエリのペアリングをテストしました。ProとProを100に正規化した場合、FastでクエリされたProインデックスは98.4を記録しました。すべてFastのセットアップでは96.6を記録しました。Cohereが推奨するパターンは、Proでインデックスを作成し、Fastでクエリを実行することです。1つの制約として、両側で同じ出力次元を使用する必要があります。この分割はエージェントのワークロードを対象としています。エージェントは1つのタスクに対して数十回の検索を発行する可能性があり、クエリの遅延は累積します。Cohereチームは、Fastが1秒あたり377.3ドキュメントを処理したのに対し、Proは159.7ドキュメントであったと報告しています。 ベンチマーク ViDoRe V3では、Embed 5 Proが平均85.8を記録し、Embed 4から8.8ポイントの向上となりました。Fastは平均84.5です。Voyage 4 Largeは83.7、Gemini Embedding 2は83.2、そしてOpenAI text-embedding-3-