アリババ、新AIで動画音声理解

アリババのQwenチームはQwen3.8-Omni-Flashをリリースしました。彼らはこれを、エージェント機能を中心に構築された初のオムニモーダルモデルと呼んでいます。テキスト、画像、音声、動画を受け入れ、テキストを返します。音声・動画の理解、推論、ツール使用が1つのモデル内に組み込まれています。提示されたワークフローはシンプルです。コンテンツを理解し、タスクを計画し、ツールで実行し、結果を届けます。展開可能か？はい、現在ホスト型APIとして利用可能です。QwenCloud、Alibaba Cloud Model Studio、およびQwen Studioで提供されています。ローンチ時にはオープンウェイトは発表されなかったため、セルフホスティングは選択肢にありません。Qwen3.8-Omni-Flashとは何か？ Qwen3.8-Omni-FlashはQwen3.8-Flash-Nextアーキテクチャに基づいて構築されています。このベースモデルは2026年8月にオープンウェイトで出荷されました。コンテキストウィンドウは1Mトークンです。QwenCloudでは、最大入力が991K、最大出力が131Kと記載されています。最大推論長は262Kトークンです。出力はテキストのみです。Model Studioのドキュメントでは、音声生成が必要な開発者にはQwen3.5-Omniを推奨しています。思考はデフォルトでオンになっており、reasoning_effortはxhighに設定されています。これをnoneに設定すると思考が無効になります。APIはDashScopeとOpenAIの両方のプロトコルに従っています。Chat CompletionsとResponses APIで動作します。関数呼び出し、ウェブ検索、構造化出力、コンテキストキャッシュ、バッチ呼び出しがサポートされています。長い動画に対するエージェント的知覚 ほとんどの動画モデルは、長いファイルを最初から最後まで読み込みます。これは、答えが3分間の映像の中にある場合でも同様です。Qwen研究チームは異なるアプローチを説明しています。エージェントは質問から開始します。何を見て聞くかを決定します。そして、いくつかの粗いものから細かいものへのラウンドを経て証拠を収集します。計算とトークンは、重要なセグメントに割り当てられます。研究チームはOmniVideoBenchでの結果を報告しています。精度は63.4から67.8に上昇しました。トークン使用量は145,736から79,117に減少しました。これは約45.7%のトークン削減に相当します。報告されたベンチマーク ここに示すすべての数値はQwenからのものです。公開時点では独立した結果は入手できませんでした。29の評価全体で、平均スコアは25%以上向上しています。