AI音声の応答速度を測る新基準

Time to first token (TTFT)は、チームが音声用のinference APIを選択する際に使用する指標です。しかし、これは彼らを誤解させる指標でもあります。TTFTは生成が開始される時点を示しますが、text-to-speechモデルは完全な節が届くまで話すことができません。この2つの時点の間には、会話のように感じるエージェントと、途中で中断されるエージェントの違いがあります。この記事では、LLM、speech-to-text、text-to-speech、speech-to-speechを含む音声スタックのあらゆる層をベンチマークします。なぜTTFTが正しい入り口であり、間違ったゴールラインなのかA voice agentは、言語モデルを内蔵したレイテンシー予算です。各段階でユーザーが聞き取れるミリ秒が費やされます。Time to first token (TTFT)は、inferenceリクエストを送信してから最初のトークンを受け取るまでの間隔です。IBMの定義では、システムがアイドル状態から目に見えてアクティブな状態に移行する瞬間とされています。チャットの場合、TTFTはほぼ全体像を示します。音声の場合、それは合計の一部に過ぎません。その理由は機械的なものです。text-to-speechモデルは、単語の半分を合成することはできません。オーディオを生成する前に、完全な節または文が必要です。LiveKitは、結果として得られる指標をtime-to-first-sentence (TTFS)と呼び、Gemma 4のデプロイメントに関する投稿で、TTFSこそがユーザーが実際に感じるものであると主張しています。これにより、1つではなく2つの調整要素が得られます。TTFTは生成がいつ開始されるかを制御します。Tokens per secondは、最初の文がどれだけ速く完了するかを制御します。一方は優れていても、もう一方が劣るプロバイダーは、速いとは感じられないでしょう。レイテンシー予算：1回の音声ターンにかかる実際のコストLiveKitのvoice agents overviewでは、1回のターンをSTTで約100〜200ms、ストリーミングLLMで300〜500ms、TTSで100〜200ms、WebRTC経由のネットワークで50〜150msに分解しています。実用的なエンドツーエンドの目標を700msから1.2sに設定しています。Pipecatの共同制作者であるKwindla Hultman Kramerは、中央値で800msの音声間レイテンシーを目標とし、概念実証では1,500msまで許容できると助言しています。彼のおおよその計算では、これをトランスポートとメディア処理、STTなど、それぞれ約200msずつ4つの部分に分けています。