ロボットが過去を覚える新AI

Kyutaiは、InriaおよびÉcole des Pontsと共同で、ロボット操作のための2.4B vision-language-action model（VLA）であるREKIをリリースしました。REKI vision-language-action modelは、公開データのみで事前学習されています。また、最近の過去の情報を安価なメモリとして保持します。3つの分布外ベンチマークにおいて、REKIを上回ったのは、その約2倍のサイズのモデルだけでした。すべての重みは本日Hugging Faceで公開されています。TL;DR サイズ：2.4B parameters（2.2B Qwen3.5-2B VLM + 0.2B flow-matching action expert）。メモリは過去3 frames、1 s間隔をカバーします。動作環境：1つのNVIDIA H100でベンチマークを実施。2台の256×256カメラから、コンパイル済みでaction chunkあたり21.8 ms。重みはBF16で提供されます。quantized variantsは発表されていません。パフォーマンス：LIBERO-PlusおよびRoboTwin Clean2Randにおいて、公開データで事前学習されたVLAの中で最高。最高：LIBERO-Plusで90.4%を達成し、Kyutaiの比較でトップスコア。最低：RoboCasa365で38.4%を達成し、Xiaomi-Robotics-1（57.4%）には大きく劣ります。REKIとは？REKIは、カメラの視覚情報と指示をロボットのactionにマッピングするKyutaiのvision-language-action modelです。Qwen3.5-2B backboneと200M-parameter action expertを組み合わせています。このexpertは、flow matchingによってaction chunkを生成し、10のEuler stepsで統合されます。Robot stateとflow timeはadaptive RMSNormを介して入力されます。各robot state layoutは、独自の小さなstate MLPを持ちます。REKIのmemoryはどのように機能しますか？ほとんどのVLAは現在のframeのみに基づいて動作します。従来のmemory methodsでは、過去のframeをVLMに供給したり、trainingをunrollしたり、modulesを追加したりします。これらのオプションはそれぞれコストを追加します。REKIは、代わりにaction expert内にmemoryを配置します。各frameのaction tokensの前に32個の学習済みregister tokensが配置されます。これらは、encoded promptと当該frameの視覚情報にcross-attendします。また、以前のframeのregister tokensにもself-attendします。register tokensはaction tokensを読み取ることはありません。そのため、flow timeやrobot stateではなく、observationsのみに依存します。これらはframeごとに一度計算され、rolling windowでcacheされます。プロジェクトページによると、コストは小さいです。cached registersの読み取りは、21.8 msのchunkに0.1 msを追加します。cacheは約