アリババが16言語対応の音声AIを発表

アリババのTongyi Labは、製品向けテキスト音声変換（TTS）システムであるQwen-Audio-3.0-TTSをリリースしました。このモデルは、同じ系統から2つのバリアントで提供されます。Flashはリアルタイムの対話を対象とし、Plusは高品質な生成を対象としています。どちらもダウンロード可能な重みとしてではなく、Alibaba Cloud Model Studioを通じてホスト型モデルとして提供されます。今回のリリースは、開発者が製品開発で直面する4つの点に焦点を当てています。それは、より広範な言語対応、自然言語のスタイル制御、きめ細かいタグ制御、そして参照音声がクリーンでない場合の堅牢性です。Qwen-Audio-3.0-TTS-Plusは、独立したArtificial Analysis Text-to-Speechリーダーボードでも1位を獲得しています。<br>2つのバリアント、1つの系統<br>2つのティアは異なるタスクに対応しています。Flashはリアルタイムの対話向けに調整されており、最初のパケットの遅延は300ミリ秒レベルです。Plusは高品質な生成向けに調整されており、速度よりも自然さと音色の忠実度が重要視されます。モデルIDはqwen-audio-3.0-tts-flashとqwen-audio-3.0-tts-plusです。どちらも双方向WebSocket streaming protocolを介して呼び出されます。APIはPCM、WAV、MP3、Opusをサポートし、最大48 kHzのサンプルレート出力が可能です。ストリーミング入出力、voice cloning、Voice Design、およびinstruction controlを公開しています。アリババは、DashScope SDKと、Python、Java、Go、C#、PHP、Node.js用の生のWebSocketサンプルを、シンガポールと北京のリージョンで提供しています。<br>モデルの構築方法<br>このシステムは2つの設計選択によって支えられています。12.5 Hzのlow-frame-rate speech tokenizerは、コンテンツと話者情報を保持しながらautoregressive decodingコストを削減します。低いフレームレートは、オーディオ1秒あたりのトークン数が少ないことを意味し、inference latencyを短縮します。5段階のprogressive training paradigmは、language model（LM）とflow-matching（FM）コンポーネントを調整します。各段階は、独立したLMとFMのpretraining、高品質データannealingによるjoint training、LM reinforcement learning、FM robustness training、FM reinforcement learningです。研究チームは、このパイプラインが改善をもたらすと報告しています。