AIが自ら改善する仕組み

このチュートリアルでは、RRSI (Regularized Recursive Self-Improvement) を実装します。これは、LLM agentが、固定されたモデルを中心に、自身のharness、prompts、tools、memory、control flow、およびsub-agentsを書き換えられるようにする方法です。これにより、harnessが進化するタスクにoverfittingすることなく機能します。 完全にRRSIループは、Vertex AI上のClaude Opusで編集案を作成し、Docker benchmarks内でそれらを評価します。これは無料のノートブックでは実行できないものです。 RRSIのうち、実際に論文のアイデアを担う部分、つまりどの編集案を採用するかを決定するルールは、純粋なPythonで書かれており、私たちはそれを直接扱います。 公式リポジトリからパッケージをインストールし、そのestimator、calibrated noise band、selection algorithmの両ブランチ、annealed edit budget、deterministic leakage screen、およびedit historyを順に見ていき、その後、シミュレートされたagentをRRSI独自のDomain interfaceに接続します。 シミュレートされた環境を自分たちで構築したため、各編集の真の効果を知ることができます。これにより、RRSIの決定をground truthと比較し、最も高いスコアを単純に保持するだけのunregularized searchと比較して監査することができます。 Copy Code Copied Use a different Browser import os import sys import json import math import copy import random import tempfile import textwrap import traceback import subprocess import statistics as st from pathlib import Path RESULTS = {} def banner(title): print("\n" + "=" * 78) print(title) print("=" * 78) def section(name): def wrap(fn): def run(*a, **kw): banner(name) try: out = fn(*a, **kw) RESULTS[name] = out if isinstance(out, str) else "ok" return out except Exception as e: RESULTS[name] = f"SKIPPED / FAILED -> {type(e).__name__}: {e}" print(f"\n[!] {name} did not complete: {type(e).__name__}: {e}") traceback.print_exc(limit=3) return None return run return wrap banner("1. Install RRSI and map the paper onto the code") subprocess.run([sys.executable, "-m", "pip", "install", "-q", "git+https://github.com/google-research/rrsi.git@be50316e