AI実験を効率化する新AIを開発

AI research agentsは、すでに独自の機械学習実験を提案し、実装し、評価することができます。アイデアの生成は安価ですが、検証はそうではありません。1つの候補を訓練するには数時間から数日のGPU時間を消費する可能性があるため、エージェントは実行できるよりもはるかに多くの候補を提案します。どの候補が実行されるかが、研究の進捗における真の原動力となります。MetaのFAIR、オックスフォード大学、ユニバーシティ・カレッジ・ロンドンからの研究チームは、その原動力を研究選好（research preference）として形式化し、AI Research Preference Models (RPMs)を導入しました。RPMは、まだ実行されていない候補をランク付けし、実行するものを1つ選びます。チームは、言語モデルが指標や実行結果を予測する上で信頼できないことを発見したため、絶対的なスコアを予測することはありません。それは展開可能でしょうか？部分的です。RPMsは、fine-tuningなしで凍結された事前学習済みLLMを使用しており、足場となるAIRA-dojoとベンチマークのAIRS-Benchはオープンソースであり、バックボーンのQwen3.6-27Bはオープンウェイトです。RPMがエージェントループAIRA-dojo内でどのように位置するかというと、それは進化的ツリー探索です。貪欲な親選択、Draft / Improve / Debugオペレーター、最後に最高の検証スコアを持つノードが返されます。RPMは子ノードの作成時にのみ介入します。1つの子ノードを生成して実行する代わりに、エージェントはオペレーターを15回並行して適用し、15個の未実行候補を生成します。その後、それらをノックアウトトーナメント形式でペアごとに比較します。勝者のみが実行されます。各比較は、探索されたツリーのBFSウォークによって収集されたコンテキストノードに基づいており、それぞれが取得した検証スコアとともに表示されます。