映像と音声で対話するAI
ByteDance Seed Introduces SeedRealtime: a Native Audio-Visual Full-Duplex LLM That Watches, Listens and Speaks in One Model
ByteDanceが映像と音声で同時に話せるAI「SeedRealtime」を発表。一つのAIでリアルタイムな対話が可能になり、より自然なコミュニケーションが期待されます。
ByteDanceのSeedチームは、ネイティブな音声・映像フルデュプレックスLLMであるSeedRealtimeを発表しました。このモデルは、音声、映像、テキストを単一の統一されたアーキテクチャに融合させます。一度に一回のやり取りではなく、連続的なマルチモーダルストリームを介してリアルタイムで対話します。Seedはこれをオムニモーダルなインタラクションへの一歩と位置づけ、共同音声・映像理解、プロアクティブなインタラクション、自然な会話タイミングという3つのブレークスルーを主張しています。従来のアーキテクチャの課題は、ASR、VLM、TTSモジュールを連鎖させるカスケード方式であり、段階間で遅延が生じ、情報が失われることでした。SeedRealtimeは代わりに、知覚、理解、意思決定、表現を一つのエンドツーエンドモデル内で並行して実行します。会話のターンもモデル内部で処理され、ほとんどのリアルタイムスタックが依然として依存している外部の音声活動検出器を置き換えます。展開可能か？部分的に展開可能です。SeedRealtimeは、ByteDanceの消費者向けアシスタントであるDoubaoアプリ内で稼働しています。この特定のモデルについて、ByteDanceは技術レポート、パラメータ数、オープンウェイト、Volcano EngineやBytePlusのエンドポイントを公開していません。そのため、現時点ではサードパーティチームとして統合することはできません。現時点で展開可能なのは「アイデア」です。これは検証済みの参照アーキテクチャであり、リアルタイムの音声とカメラ製品を出荷するすべての人にとっての目標を動かすものです。インタラクティブな説明デモで実際に新しいことは何か？Seedは7つのシナリオを公開しました。そのうち4つが重要なものです。モダリティを横断するIDバインディング：騒がしいグループディナーで、モデルは自己紹介される人々の名前と顔を一致させ、それぞれの声をそのIDに結びつけ続けます。これにより、旅行の好みが異なる発言を正しい話者に帰属させてから計画を提案します。保持された指示からのプロアクティブな発話：河北省博物館で、ユーザーが特定の青銅器についてリマインドを求めると、
この記事について質問
記事の内容に答えます。記事外のことは都度ウェブで調べます。