AIが金融分析を自動化するAQuA

自身の実験を記述する定量調査エージェントは、後に学習する証拠を汚染する可能性があります。うまく機能するように見えるが実際には欠陥のある（leaky）特徴は、成功した前例として保存され、後の反復を通じて伝播されます。Prompt-level instructionsやreviewer agentsは、作成者とレビュー担当者が同じ盲点を持っているため、この問題を解決しません。プリンストン大学、Ant Group、スタンフォード大学の研究者チームはAQuAを提案しています。AQuAは、評価するものが固定されたままで、反復を通じて自身の研究プロセスを改善する、言語モデル駆動型の研究システムです。一方は暗号通貨のsymbolic alpha factorsを発見し、もう一方は米国株式のtime-series modelsを開発します。これらはagent、記憶、候補空間、研究状態を共有しません。AQuAが対処する失敗モードは、Bailey et al.以来文書化されているように、説得力があるが再現性のないバックテストを生み出す小さな方法論的エラーによって定量調査が破綻することです。自身の実験を記述するagentはこれを悪化させます。うまく機能するように見えるが実際には欠陥のある（leaky）特徴は前例として保存され、再帰は検出されていないバグを、実際の発見と同じくらい容易に増幅させます。Prompt-level instructionsやmodel reviewは、完全性の境界ではありません。固定されたholdoutへの繰り返しのアクセスはadaptive overfittingを引き起こし、LLM agentsは誤って指定された目的や評価者を悪用することが観察されています。AQuAは代わりに、漏洩を誘発するアクションを利用不可にします。各部分は、反復が開始される前にそのsplits、featureとlabelの定義、およびevaluatorを固定し、agentは制約されたfactor expressionまたは単一のconfig diffのみを出力します。研究チームはこれをasymmetric freedomと呼んでいます。agentはそのDSL内で自由に探索しますが、evaluatorは適応する表面の外側に位置します。改善されるのは研究プロセスです。