NVIDIAが自然な会話AIを公開

NVIDIAは、リアルタイムの全二重会話に対応するオープンな11Bエンドツーエンドの音声対音声モデル、NemotronLabs VoiceChat 11Bをリリースしました。ASR、LLM、およびTTSを連結する代わりに、単一の統合ネットワークでストリーミング音声理解と音声生成を実行します。これにより、カスケードスタックが必要とするマルチモデルのオーケストレーションとAPIハンドオフが不要になり、エンドツーエンドの遅延が短縮されます。Full-Duplex-Bench 1.0での測定されたスムーズなターンテーキング遅延は448 msです。このモデルは話しながら聞くため、ユーザーが会話の途中で割り込んでもエージェントは譲り、480 msでの引き継ぎ率は1.00です。また、会話が途切れることなくツール呼び出しをサポートする初のオープンな全二重モデルであり、<TOOLCALL>スクリプト用の別の出力チャネルと、オペレーター定義の「on-hold」ラインを使用し、API実行中にギャップを埋めます。

展開可能か？部分的です — 現在はパイロット版として展開可能ですが、本番環境向けではありません。ウェイトとコンテナは両方とも公開されており、ライセンスも寛容です。しかし、NVIDIAチームはチェックポイントが「研究目的のみに対応」と述べており、リポジトリには実際の失敗モードが記載されています。具体的には、2分間の音声コンテキストの制限、数回のターン後に回復不能な意味不明な状態への劣化、ターン終了後の暴走する独り言、ユーザーの文字起こしにおける単語の脱落などです。

対象企業：80 GB以上のVRAMを持つGPU（A100、H100、RTX 6000 Pro、またはx86_64 Linux上のB200）を割り当てられるチーム。これには、AIネイティブスタートアップ、資金調達済みのスケールアップ企業、エンタープライズR&Dおよびイノベーションラボ、GPUクラウドプロバイダー、大学の音声グループが含まれます。ホストされたAPIはなく、現在このモデルを提供する推論プロバイダーもないため、GPUアクセスがないチームは評価できない可能性があります。

対象業界：コンタクトセンターおよびCXプラットフォーム、車載アシスタント、小売およびドライブスルー注文、通信IVRのモダナイゼーション、ゲームおよびNPCの対話、アクセシビリティツール。

アプリケーション：割り込み可能な音声エージェント、内部APIを介した音声フロントエンド、ライブ検索アシスタント（天気、価格、注文状況など）。