Google AI、学習環境を自動調整する「EnvHarness」発表

Google Cloud AI Research、ワシントン大学セントルイス校、UNCチャペルヒル校の研究チームは、静的なエージェントベンチマークを、その上でポリシーを訓練する際に適応するベンチマークに変えるプログラム可能な層、EnvHarnessをリリースしました。LLMエージェントは現在、厳選されたテキストから学ぶよりも、インタラクティブな環境から学ぶことが増えていますが、これらの環境は手作業で構築され、固定されています。つまり、どのエージェントが行動しているか、どれだけ改善されたかに関わらず、同じように振る舞います。通常の解決策は新しい環境を生成することですが、これはドメイン固有のパイプラインや、過剰に生成・フィルタリングする必要があるLLMが作成した検証器に縛られます。EnvHarnessはこのアプローチを逆転させます。EnvHarnessは、既存の環境をプラグインコンポーネントでラップし、標準のreset() / step()インターフェースを通じて厳密に動作させ、エピソードの開始場所、エージェントが実行できること、エージェントが見るものを変更します。その間、基盤となるシミュレーター、タスク、人間が構築した検証器は手つかずのままです。EnvRiggerと呼ばれるLLMデザイナーは、ポリシー自身のロールアウトで診断された欠陥に対して、これらのラッパーを自動的に作成します。4つのドメインにわたる5つのベンチマークで、この方法で採掘されたスキルは、9.8%少ない実行ステップで、ホールドアウトタスクにおいて最大9.0ポイントの向上を達成しました。展開可能でしょうか？はい、すでにエージェント評価ループを実行している場合は可能です。EnvHarnessはApache-2.0 Pythonとして出荷され、6つの環境用の再現ドライバーが含まれています。新しいベンチマークは、1つのインターフェース（reset / step / observe / evaluate / get_env_state / save_state / from_state）を実装することで参加できます。下流のものは何も変更されません。厳密な前提条件はリセット可能な環境であり、これはライブユーザーアカウントや物理ロボットを除外します。https://arxiv.org/pdf/2608.19880 LLMエージェントの学習を停止する環境は、厳選されたテキストから学ぶよりも、インタラクティブな環境から学ぶことが増えています。これらの環境は手作業で構築され、静的です。どのエージェントが行動しているか、どれだけ改善されたかに関わらず、同じように振る舞うため、ポリシーの弱点をターゲットにできず、一度解決されると教えるものが何も残りません。通常の答え