ロボットが短いデモで新作業学習

Generalist AIは、たった1回のデモンストレーションから新しい物理タスクを学習するロボット foundation model であるGEN-1.5をリリースしました。3〜12秒の sensorimotor データ（感覚運動データ）を30秒の context window に投入するだけで、ロボットはそのタスクを実行します。gradient updates、fine-tuning、タスク固有のプログラミングは一切不要です。10種類の多様な操作タスクにおいて、この one-shot in-context prompting は、事前学習済みモデルから直接、平均59%（±10%の標準偏差）の成功率を達成しました。タスクごとに5分間のデータで10回の gradient steps を実行すると、その成功率は83%（±9%）に向上しました。Generalistはこのメカニズムを physical prompting と呼んでおり、このために特別に訓練されたものではないと述べています。つまり、architectural changes、meta-learning loop、auxiliary objectives は一切ありません。これは、8ヶ月以上にわたる物理的なインタラクションデータの継続的な pretraining から生まれたものです。タスクは単純で短期間のものであり、同社もそれを明言しています。しかし、これはそのチームが知る限り、物理スキルの one-shot learning が大規模に実現した最初のモデルです。<br>展開可能か？まだです。これは research release です。public weights、API、pricing page、self-serve product はありません。Generalist AIは、GEN-1.5を自社のフリートとデータエンジンで運用しています。現在これを希望する人は、直接パートナーシップを結ぶ必要があります。<br>GEN-1.5とは何か？GEN-1.5は、ビデオ、センサー、言語、proprioceptive（固有受容）入力を受け取り、30秒のメモリを保持し、100 Hzのアクション軌跡を出力する大規模 multimodal model です。家庭、倉庫、工場で収集された物理的なインタラクションデータで、8ヶ月以上にわたり継続的に pretraining されています。主なメカニズムは physical prompting です。sensorimotor の例（センサーの流れとアクション軌跡）は、ドラッグ＆ドロップインターフェースを介して30秒の context window に挿入されます。ウィンドウの残りの部分は、継続的な観測を保持します。その後、モデルは zero gradient steps と fine-tuning なしで、すぐにタスクを実行します。重要なことに、これらのどれも意図的に設計されたものではありません。Generalistは、in-context learning を促進するための architectural changes はなく、