アリババQwen、AI学習の新技術を発表

アリババのQwenチームは、極めて長期間にわたるエージェントの学習のための、弾力的な強化学習（RL）フレームワークであるQwenGyreを発表しました。QwenGyreは、アリババが開発したオンライン強化学習システムで、未変更のブラックボックスハーネスを通じてコーディングエージェントを学習させます。これは、数時間にわたり実行され、100万トークン近くを処理するロールアウトを対象としています。QwenGyreの弾力的なRLフレームワークは、Qwenの主力モデルであるQwen 3.8 2.4Tモデルに適用されました。これは2つの中心的なアイデアに基づいています。1つは、アイドル状態のGPUをロールアウトと学習の間で移動させること。もう1つは、分岐するエージェントの履歴を、範囲が限定された学習サンプルに変換することです。 翻訳できる範囲で最大限訳す（文字数は問わない）

概要：これは学習フレームワークであり、モデルではありません。Qwen 3.6 122BおよびQwen 3.8 2.4T（QwenあたりA95B）でテストされ、1回のロールアウトあたり約70万トークンを処理しました。動作環境：マルチノードGPUクラスター。122Bの実行には24〜32ノードを使用し、2.4Tの実行には192ノード（48ノードの4セル）を使用しました。GPUモデルは開示されていません。Megatronが学習を行い、SGLangがロールアウトを提供します。

パフォーマンス：Asyncと比較して1.38倍から1.78倍高速、Colocateと比較して1.21倍から1.85倍高速であり、同等のスコアを達成しました。最高の結果は、TerminalBenchでColocateに対して1.85倍のエンドツーエンドの高速化でした。最悪の結果は、2.4Tモデルで多くのクエリがタイムアウト近くで実行された場合でも、Colocateに対してわずか1.21倍でした。

結論：最高の結果として、NL2RepoBenchのスコアが48ステップで52.5%から58.5%に向上しました。最悪の結果として、この論文は公開されているコードリリースにリンクしていません。

QwenGyreはどのような問題を解決するのでしょうか？研究チームは、「XLong-horizon」タスクを、数時間にわたり、数百ものモデルとツールの相互作用を伴うエージェントの実行と定義しています。例としては、NL2Repo-Benchのように仕様から完全なリポジトリを生成するタスクが挙げられます。

この規模では2つの問題が発生します。1つ目は、ロールアウトに長いテールがあることです。Colocate設定では、GPUがアイドル状態である間、学習は最も遅い実行を待ちます。Async設定では、固定されたGPUプールは互いに余剰容量を貸し借りできません。2つ目は、Claude Codeのようなハーネスがコンテキストを圧縮し、サブエージェントを生成して再試行することです。1つの実行が単一の軌跡ではなく、分岐するツリーになります。すべてのパスを展開すると、共有されるプレフィックスが重複し、学習コストが膨らみます。弾力的なスケジューラーはどのように機能するのでしょうか？