AIが常に学ぶ新テスト登場

ほとんどの強化学習ベンチマークは、エピソードごとに世界をリセットします。しかし、実際の運用は決してリセットされません。Skyfall AIのMORPHEUSはそのギャップを埋めるものです。これは、継続的な強化学習（CRL）のための永続的な企業シミュレーションプラットフォームです。 MORPHEUSとは何でしょうか？MORPHEUSは、Big World Hypothesis（Javed & Sutton, 2024）に基づいています。これは、世界の複雑さがどのエージェントの表現能力をも超えるというものです。結果として、固定されたダイナミクスであっても環境は非定常に見えます。継続的な学習を強制するために、MORPHEUSは3つの特性を要求します。永続性（persistence）、非定常性（non-stationarity）、および運用上の複雑性（operational complexity）です。永続性とは、過去の決定が将来のダイナミクスに複合的に影響することを意味します。非定常性とは、いかなる固定されたポリシーも最終的には最適でなくなることを意味します。運用上の複雑性とは、固定された最適なポリシーが存在しないことを意味します。 各環境は自己完結型のTypeScriptワールドプラグインです。これは、Operational Descriptors（ODs）、シミュレーションスケジューラ、シードデータ、およびドキュメントをエクスポートします。ODは、機能のステップバイステップの実行計画を定義します。エージェントはcapability APIを介して動作し、各呼び出しがODの実行をトリガーします。 プラットフォームの仕組みは？このアーキテクチャに基づいて、非定常性は2つのエンジンから生まれます。第一に、障害注入エンジンはODステップ間に型付きの障害を挿入します。これは、missing_data、dependency_failure、rate_limitを含む11種類の障害タイプから選択されます。これは、light（5%）、realistic（8%）、moderate（15%）、aggressive（30%）の4つのプリセットレートで実行されます。第二に、非同期構成シフトコントローラーは、固定されたタイムスタンプで障害プリセットと需要を変更します。これはトレーニングループとは独立して実行されるため、シフトが勾配更新と同期することはありません。これにより、エージェントが更新の周期性を代理の時計として使用することを防ぎます。これらのエンジンと並行して、報酬はプラットフォームによってネイティブに記録される3つの運用検証器から得られます。これらは、障害イベントシグナル、財務元帳ステータス、およびリソーススループットです。複合報酬はこれらを組み合わせます。デフォルトの重み