アラビア語の音声AI、新登場

アブダビのTechnology Innovation Institute (TII) は、1.6Bパラメータのアラビア語音声認識モデルFalcon-ASRをリリースしました。これはエミラティ方言に焦点を当てていますが、英語、フランス語、スペイン語、ポルトガル語も文字起こしします。TIIの評価では、Falcon-ASRは6つのアラビア語テストセット全体で平均単語誤り率（WER）20.92%を記録しました。これは、TIIのリーダーボードスナップショットで公開されている最高のエントリを2.25ポイント上回っています。アラビア語の音声製品を開発する開発者にとっての課題はアクセスです。現在、これはホストされたデモとしてのみ実行されます。 TL;DR サイズ: 1.6B parameters。 最大音声コンテキスト: 非公開（デモは最大60秒、20MBのクリップを受け入れます）。 動作環境: 非公開。重みや量子化されたバリアントは公開されていません。 アクセス: Hugging Faceのデモとして提供され、APIとネイティブアプリが計画されています。 パフォーマンス: TII独自の比較では、アラビア語とエミラティ方言で最も低いWERを記録し、英語でも堅実な結果を出しています。 最高: 平均アラビア語WER 20.92%。Audar-ASR-V1-Turbo (23.17%) より2.25ポイント低い。 最低: 最も弱い英語テストセットであるEarnings-22でWER 11.86%。 結論（良い点）: コンパクトな1.6Bモデルでありながら、TIIのテストではより大きなアラビア語システムをリードしています。 結論（悪い点）: 重み、ライセンス、APIはまだなく、すべてのスコアは自己申告です。 Falcon-ASRとは？ Falcon-ASRは、TIIが開発した音声テキスト変換モデルで、話されたアラビア語と他の4つの言語をテキストに変換します。これら5つの言語はすべて1つの重みセットを共有しています。このモデルは言語フラグを必要とせず、話された言語でテキストを出力します。また、単語レベルのタイムスタンプも返します。これは、各単語を音声内の位置にリンクさせるもので、字幕作成、検索可能な録音、会議の議事録にとって重要です。 Falcon-ASRはアラビア語の方言をどのように扱いますか？ 方言アラビア語は、現代標準アラビア語（MSA）よりも文字起こしされたリソースがはるかに少ないです。TIIはFalcon-ASRをエミラティ方言、MSA、その他の湾岸およびアラビア語方言、そして英語で訓練しました。目的は、方言形式や言語切り替えを含む日常会話です。訓練音声は、バックグラウンドノイズ、重複する音声、音楽、屋内の音で拡張されました。