AIの失敗を学びの場に変える新システム

Agentic LLMs（自律的に動くAI）は、何度も同じように失敗することがよくあります。スタンフォードの研究チームは、この原因が再利用可能な能力の欠如にあると突き止めました。彼らのシステムであるTRACEは、これらのギャップを診断し、直接それらを訓練します。TRACEは「Turning Recurrent Agent failures into Capability-targeted training Environments（エージェントの繰り返しの失敗を能力に特化した訓練環境に変える）」の頭文字を取ったものです。これはMITライセンスの下でオープンソースとして公開されました。 どのような問題をTRACEは解決するのでしょうか？その設計を理解するために、まずエージェントがなぜ失敗するのかを考えてみましょう。エージェントは、適切な記録の取得や前提条件の検証など、タスクが要求する特定のスキルを欠いています。主流の2つの修正方法は、計算資源を非効率に使っています。Direct RLやSFTは、どのスキルが欠けているかを決して示さない疎な報酬を与えます。広範な合成データは的を絞っていないため、モデルがすでに持っているスキルに予算が流れてしまいます。しかし、TRACEは失敗がランダムではないことを観察しました。少数の欠陥がほとんどの失敗した軌跡の原因となっています。したがって、それぞれの繰り返される欠陥は、それ自体が密で検証可能な訓練シグナルとなることができます。 TRACEはどのように機能するのでしょうか？これらの発見に基づき、TRACEは自動化された4段階のパイプラインを実行します。各ステップは、markdownプロンプトに従うLLMエージェントによって駆動されます。 ステップ1：対照的な能力分析 ベースエージェントは、ターゲット環境でロールアウトを生成します。分析エージェントは、それらを成功したセットと失敗したセットに分割します。次に、すべてのtrajectory-capabilityペアをNA、PRESENT、またはLACKINGとしてラベル付けします。能力は、対照的で高カバレッジである場合にのみ保持されます。具体的には、そのcontrastive gapがδ = 0.20をクリアし、coverageがρ = 0.10をクリアする必要があります。結果として、このパイプラインは、その欠如が失敗に集中しているスキルを保持します。 ステップ2：ターゲットを絞った環境合成 次に、生成エージェントは、保持された能力ごとに1つの合成環境を構築します。各環境は、ターゲットのtool schemasと形式を維持しながら、単一の能力を分離します。タスクインスタンスは、ランダムなシードから手続き的に生成されます。生成と検証はアルゴリズム的であるため、報酬には人間のラベルやLLM judgeは必要ありません。 ステップ3：Capability a