ロボット操作データ収集の新システム

ロボット操作のデータセットは、それらを学習するモデルに比べてはるかに遅くしか増えていません。これは主に、データ収集が閉鎖的で中央集権的であるためです。専門のオペレーターが研究室のハードウェアでデモンストレーションを収集し、オフラインで処理し、その後は決して増えることのない固定されたベンチマークとして提供しています。A research team from Axis Robotics、UC Berkeley、Georgia Tech、NTUなどの研究チームは、この問題に対して異なるアプローチを提案しています。彼らのシステムAXISは、デモンストレーションの収集をブラウザ上で行い、それ以外のすべての処理をバックエンドのGPUに送ります。そして、データセットを一度出荷したら終わりではなく、継続的に拡張し続けるものとして扱います。展開可能でしょうか？ 部分的に可能です。トレーニングコードはOpenPIのパッチレイヤーとして公開されており、遠隔操作プラットフォームはどのブラウザでも利用できます。Hugging Face上のデータセットは2.36 TBに制限されており、非営利の学術用途に限定されています。ポリシーのチェックポイントはリリースされていません。ブラウザとバックエンドの分離。システムの核となる決定は非対称性です。貢献者は、MuJoCo WebAssemblyフロントエンド内で、キーボード、マウス、仮想ジョイスティック、またはゲームパッドを使用して、パラレルジョーグリッパーを備えたFranka Research 3を遠隔操作します。物理演算のステップとThree.jsのレンダリングはReact UIスレッドとは別に実行されるため、記録された状態-行動サンプルはインターフェースではなくシミュレーターと同期が保たれます。費用のかかるすべての処理は別の場所で行われます。レンダリングは8x RTX 4090 GPUで、トレーニングと評価は8x A100 GPUで行われます。タスク自体は手作業ではなく生成されます。TaskGenは、言語の指示をタスク、シーン、オブジェクトの設定に分解し、画像から3Dへのパイプラインを通じてメッシュを取得または生成し、それらを妥当な物理サイズに再スケールし、その後2.5Dレイアウトを提案します。レイアウトスーパーバイザーは、インスタンス化されたシーンを検証し、制約が満たされない場合はオブジェクトを再配置、再方向付け、または再生成します。すべてのタスクには構造化された成功チェッカーが付属しており、バックエンドはフロントエンドの成功フラグを信頼するのではなく、これを再実行します。データセットの内容。リリースされたスナップショットには、207のタスク、50,129のエピソード、そして6万以上のタスクまたは