NVIDIA、AIが学ぶ新ツールMolt公開

エージェント型強化学習の研究は、アルゴリズムの絶え間ない修正です。新しい推定器、新しいパイプラインステージ、新しいロールアウトスキーム。主流のフレームワークでは、各変更がトレーナー、分散バックエンド、およびロールアウトの接着層を通過します。そのコストは、研究者に毎回のイテレーションでかかります。NVIDIAのNeMoチームによるMoltは、そのコストを直接的にターゲットとしています。これは、珍しい設計目標を持つPyTorch-nativeなエージェント型RLフレームワークです。コードベースは、研究者が全体を頭の中で把握でき、AIコーディングアシスタントが全体を読み解き、推論できるほどコンパクトであるべきです。公表されているフットプリントは、各フレームワークのRLエントリポイントからインポートグラフをトレースして測定したところ、約8.6K行のRLコードです。同じ方法で、verlは約62K行、slimeは約25K行、OpenRLHFは約7.2K行と数えられます。デプロイ可能でしょうか？はい。MoltはApache 2.0ライセンスで、起動コード、Slurmスクリプト、およびプリビルドコンテナと共に提供されます。しかし、研究論文では、これを生産トレーニングサービスではなく、研究インフラとして位置付けており、ハードウェアが真の障壁となります。提供されるレシピは、8つのH100 GPUを搭載した2つのノードを想定しており、トレーニングに8つ、ロールアウトに8つが割り当てられます。これにより、Moltは、最先端の研究室やそれに準ずる研究室、ポストトレーニングを行う資金豊富なAIスタートアップ、独自の環境に対してエージェントをトレーニングする金融、ヘルスケア、ロボティクス分野の企業AI研究グループ、およびマルチノードH100/H200アクセスを持つ学術研究室の利用範囲内となります。アプリケーションには、マルチターンツール使用エージェント、コード実行エージェント、視覚言語環境（提供されるgeo3kレシピ）、LLM-as-judge報酬ループ、およびより小さな学生モデルへのオンポリシー蒸留が含まれます。3つのコンポーネント、1つのループ Moltは、配置と非同期キューにRay、ロールアウトにvLLM、トレーニングにFSDP2を備えたNVIDIA AutoModelを組み合わせています。これら3つのいずれもフォークされていないため、アップストリームの改善はリベースではなくコンテナピンとして到着します。ランタイムは、エージェントプール、リクエストルーターの背後にある一連のvLLMエンジン、および単一の学習可能なポリシーアクターです。