AIが演技する声を作る新技術

今週、Fish AudioはFish Audio Drama 3をリリースしました。Drama 3は、平易な言葉で書かれた演技の指示を受け取るFish Audioのtext-to-speechモデルです。これは35Bのmixture-of-expertsモデルで、1トークンあたり約3Bのパラメータがアクティブになります。重みはHugging Faceで公開されており、モデルはFish Audio APIでも利用可能です。開発者にとっては、台本のある対話、オーディオブック、吹き替えのためのセルフホスト可能なオプションとなります。TL;DR サイズ: 合計35Bパラメータ、1トークンあたり約3Bがアクティブ（256のエキスパートのうち8つと1つの共有）。コンテキスト長: 非公開。動作環境: FP8で少なくとも48GBの1つのNVIDIA GPU。CPU、Apple MPS、AMD ROCmは非対応。公式ベンチマークでは1つのH200を使用。パフォーマンス: Artificial AnalysisではFish Audioの最高スコアモデルですが、品質EloではいくつかのクローズドAPIにまだ及ばない。最高: Artificial Analysis Pronunciation Robustnessにおけるブランド名、地名、専門用語で95.9%。最低: 正確なシーケンス（コード、パス、メール）で86.3%と、最も弱い発音カテゴリ。結論: 良い点: 指示可能な、オープンウェイトのマルチスピーカー音声。悪い点: 48GBのGPUが必要なことと、収益上限のあるライセンス。Drama 3とは何か？ Drama 3は、括弧で囲まれた指示を含むスクリプトを、演技された音声に変換します。書き手は、セリフの前に[barely holding it together]のような合図を配置します。<whisper>のようなペアタグは、Drama 3のドキュメントに従って、囲まれた単語のみを変更します。指示は、話されるセリフとは独立して、どの言語でも記述できます。このモデルは83言語をサポートしています。<|speaker:0|>から<|speaker:15|>までのスピーカータグにより、1つのリクエストで最大16人のキャラクターに対応できます。APIはスピーカーごとに1つのvoice IDを受け取るため、完全なシーンを1回の呼び出しでレンダリングできます。How does the Drama 3 architecture work？ローンチ投稿によると、その基盤はQwen3.5-35B-A3B言語モデルから始まります。これは40層を持ち、1つのゲート付きフルアテンション層あたり3つのGated DeltaNet層としてグループ化されています。4層のうち1層のみがKV cacheを保持します。DeltaNet層は代わりに一定サイズの状態で履歴を保存します。新しいCodebook-MTPデコーダーが、フレームごとのFast ARデコーダーを置き換えます。