AIが会話中の間違いから回復する新技術

NVIDIAの研究者たちは、プリンストン大学とメリーランド大学と共に、多段階のLLMエージェント向けのon-policy distillation手法であるPivotOPDを発表しました。PivotOPD on-policy distillationは、エージェントが最も致命的な初期のミスを回避し、それが起こってしまった場合でも回復するように訓練します。13のベースラインと比較して、Qwen3-1.7BおよびQwen3-8Bの「生徒」モデルにおいて、ALFWorld、WebShop、Search-based QAで最高の平均スコアを記録しました。ここから得られる教訓は、回復は学習可能であり、標準的なOPDではそれがほとんど教えられないということです。TL;DR サイズ: モデルではなく、訓練方法です。Qwen3-1.7BおよびQwen3-8Bの「生徒」モデル、さらにSWE-Bench Verified上のNemotron-3.5-SFTの「生徒」モデルでテストされました。動作環境: NVIDIA H100ノードで訓練されます。推論コストは0追加されるため、訓練されたエージェントはベースモデルが動作する場所ならどこでも実行できます。パフォーマンス: 3つのシードにわたる13のベースラインに対して、8つのベンチマークごとの平均すべてで1位を獲得しました。最高: 再現された決定的なミスの72.7%から回復しました（標準OPDでは20.3%）。最低: 1.7Bの「生徒」モデルを使用したALFWorldの「Look」タスクで55.9%でした（SODでは83.9%）。結論: 最高: 結果のみのRLでは到達できない回復を教えます。最低: 再現可能な環境と、失敗したロールアウトの77.8%でそのピボットがオラクルと一致する教師に依存します。何が多段階エージェントにおける決定的なミスなのでしょうか？決定的なミスとは、タスクを完了するための最短の残りパスを長くしたり、解決不可能にしたりするアクションです。ALFWorldのシンボリックなオラクルは、これを各ターンで測定します。Qwen3-8B、Qwen3-30B-A3B、Qwen3-235B-A22B全体で、失敗したロールアウトの59%（262件中155件）に決定的なミスが含まれていました。最初の決定的なターンは早く、30ターン中の中央値で8〜12ターン目に発生しました。その後、エージェントは回復することなくさらに18〜21ターンを無駄にしました。Qwen3-8Bの失敗の再現では、決定的なターンを修正すると成功率が8%から59%に上昇しました。ミスをそのままにして次の2ターンで正しいアクションを強制した場合でも58%に達しました。なぜ標準的なon-policy distillationではこれを見逃すのでしょうか？標準的なOPDは、保留された失敗率を79%から56%に低下させました。失敗はpiの後で