コンピューター操作AIの実験環境を統合

UC Berkeleyの研究者チームは、コンピューター操作エージェント（CUA）向けのオープンなプラットフォーム「CUA-Lite」をリリースしました。その背後にある考え方は、モデル中心ではなくインフラストラクチャ中心です。CUAのトレーニングとベンチマークには、エージェント、環境、トレース、そしてそれらを評価・トレーニングするためのフレームワークという4つの要素が必要です。これら4つは現在、互換性のないインターフェースを持つ別々のリポジトリに分散しています。CUA-Liteは、デスクトップ、ブラウザ、モバイルにわたって、それらを単一のアクション空間、単一のデータスキーマ、単一のコマンドの背後にまとめます。展開可能でしょうか？はい。このスタックはPython 3.12でuv sync --all-extrasを使ってインストールでき、その軽量なサンドボックスは/dev/kvmなしで任意のDockerホスト上で動作するため、クラウドインスタンス、CIランナー、ネストされたコンテナのすべてで動作します。VMの負担、そしてLite.OSWorldがそれをどう取り除くか。最も具体的な貢献はLite.OSWorldです。OSWorldは忠実なUbuntuデスクトップを提供しますが、タスクごとに完全なQEMU/KVM仮想マシンとして提供され、ほとんどのマネージドインフラストラクチャが公開していないネストされた仮想化を必要とします。CUA-Liteは、同じタスクスイートと評価ツールを、プレーンなDockerコンテナ内のGNOMEデスクトップ上で再現します。タスクの比較では、OSWorldとLite.OSWorldのランタイムはそれぞれQEMU/KVM VMとDocker containerであり、ホスト要件はOSWorldが/dev/kvmとnested virtを必要とするのに対し、Lite.OSWorldは任意のDocker hostで動作します。メモリはOSWorldの4.1 GBに対しLite.OSWorldは0.9 GB、コールドスタートは29.9秒に対し23.8秒と短縮され、並列処理のベースラインでは約4.6倍のインスタンスが可能で、タスクスイートはOSWorldと同一です。VMをコンテナに置き換える際の明らかな懸念は忠実度ですが、チームはそれについて直接言及しています。13のモデルにわたって、Lite.OSWorldのスコアはOSWorld VM'sのスコアと一致するため、コンテナで得られたスコアやトレーニングシグナルは実際のベンチマークに転送されます。同じ基盤が現在、Lite.ScaleCUA、Lite.CUAGym、Lite.CUAWorldというサンドボックスファミリーをサポートしており、最後のCUAWorldはBlender、QGIS、VS Codeを含む約40のアプリケーションに拡張されています。プラットフォーム全体で3万以上の検証可能なタスクを主張しています。データ用の単一スキーマ、モデルごとの単一アダプター。CUA-Liteの第2層はLiteSampleで、これは共有された単一の教師あり学習スキーマです。