AIが速い計算プログラム作成

ByteDance SeedとTsinghua AIRは、コンパイラよりも優れたGPUカーネルを記述するために大規模言語モデルを訓練するエージェント型強化学習システムであるCUDA Agentをリリースしました。それが目指すギャップは狭いものの頑固です。最先端のモデルはすでに正しいCUDAを生成しますが、遅いCUDAを生成するだけです。KernelBenchでは、ベースモデルのSeed1.6はタスクの74.0%をパスしますが、torch.compileを上回るのは27.2%に過ぎず、幾何平均速度向上は0.69倍です。これは、そのカーネルが平均してコンパイラが単独で生成するものよりも遅いことを意味します。CUDA Agentは、プロファイリング、正確性チェック、およびパーミッションロックされたサンドボックスを備えた実際のCUDA開発環境内にモデルを配置し、131,072トークンのコンテキストでPPOを用いて150ステップ訓練することで、そのギャップを埋めます。その結果、250タスクのベンチマーク全体で98.8%のパス率と96.8%のtorch.compileよりも高速なレートを達成し、コンパイルに対して2.11倍の幾何平均速度向上を実現しました。これは、最も難しいLevel-3の分割において、Claude Opus 4.5とGemini 3 Proを約40ポイント上回ります。展開可能でしょうか？部分的には可能ですが、訓練されたエージェントはリリースされていません。これは、23Bのアクティブパラメータと230Bの合計パラメータを持つ独自のMoEモデルであるSeed1.6に基づいて構築されており、論文には重みは含まれていません。公開されているもの：CUDA-Agent-Ops-6Kデータセット、SKILL.md仕様、および報酬とウォームアップのレシピ。どの企業が：プロファイリングサンドボックスだけでも128基のNVIDIA H20 GPUを使用しており、完全な複製は最先端の研究室、GPUクラウド、および大規模なインフラチームの範囲内です。中規模チームでも、オープンなベースモデルの上に、データセット、マイルストーン報酬、報酬ハッキング防止制約、スキル仕様といった部分を採用することは可能です。産業とアプリケーション：AIインフラストラクチャと推論サービス、GPUクラウド、自動運転、クオンツ取引、医療画像処理、レコメンデーションシステムなど、融合カーネルがレイテンシにクリティカルなパスにあるあらゆる場所です。用途には、torch.compileがうまく処理できない演算子シーケンスの融合、トークンあたりのコスト削減、GPU世代を超えたカーネルの再調整などが含まれます。データ合成：研究チームは参照演算子をクロールします。