NVIDIA、ロボットを手の動きで操作

このチュートリアルでは、NVIDIA IsaacTeleopの中核であるリターゲティングエンジンについて詳しく説明します。IsaacTeleopは、XRの手の追跡やモーションコントローラーの入力を、シミュレーションされたロボットや実際のロボットのコマンドに変換するフレームワークです。ヘッドセットを接続する代わりに、すべての入力をNumPyで自作するため、各ステップは通常のColab CPUで実行され、計算内容が出力されます。まず、すべてのノードが使用する型システムから始め、合成された手とコントローラーのデータを生成し、ライブで調整可能なパラメーターを持つ独自のリターゲッターを作成し、それを使って内蔵のグリッパーとSE(3)リターゲッターを駆動します。そこから、ステップごとに1つのアクションベクトルを出力する完全なグラフを構成し、ワールドフレーム変換を適用し、実行をステップ実行し、ステートマシンを一時停止および終了させ、最後に再起動後も保持されるコントローラーから器用な手へのマッピングとパラメーター調整を行います。