AIが動画を理解しロボットを動かす

Rekaは、ゼロから学習させた19Bの「あらゆることを考える」AIモデル、Rho-1の研究プレビュー版を公開しました。1つのニューラルネットワークがテキスト、画像、動画を理解・生成し、それらについて考え、ロボットの動作を出力します。Rekaはこれを、モダリティ（情報形式）ごとのモデル間で作業を受け渡す「agentic pipelines」の直接的な代替品として位置づけています。 どのような点がRho-1によって変わるのか<br>今日のほとんどのマルチモーダルシステムはpipelines（パイプライン）方式です。中心となるモデルが計画を立て、その後、画像、動画、検出などのspecialists（専門モデル）に作業を渡します。このhandoff（受け渡し）ごとにlatency（遅延）が発生し、各specialistは狭い範囲のrequest（要求）しか見ることができません。Rho-1はこれらのhandoffをなくします。テキスト、vision（視覚情報）、robotic actions（ロボットの動作）は、1つのcontext window（コンテキストウィンドウ）内でtokens（トークン）となります。Rekaの研究によると、編集されていない1つのsession（セッション）で、完全なloop（ループ）が示されています。モデルは灯台を描き、それをboxes（囲み）、animates（アニメーション化）し、video（動画）をsnowstorm（吹雪）のシーンにedits（編集）し、その違いをexplains（説明）します。これらすべてが、tool call（ツール呼び出し）や2つ目のmodelなしに、5 turns（5回のやり取り）で発生します。 Architecture: Two Streams, One KV Cache<br>すべての入力と出力は、2つのnative formats（ネイティブフォーマット）のいずれかを使用します。Discrete tokens（ディスクリートトークン）はテキスト、symbolic reasoning（記号的推論）、high-level commands（高レベルのコマンド）を伝達します。Continuous tokens（連続トークン）はimage latents（画像ラテント）、video frames（動画フレーム）、robot actions（ロボットの動作）、proprioception（自己受容感覚）を伝達します。各transformer block（Transformerブロック）は2つのexpert weight streams（エキスパート重みストリーム）を保持します。understanding stream（理解ストリーム）はlanguage（言語）とvisual parsing（視覚解析）を処理します。generation stream（生成ストリーム）はlatentsをimages（画像）やvideo（動画）にdenoises（ノイズ除去）して変換します。両方のstreamsはattention（アテンション）を共有し、同じKV cache上で動作します。reply（応答）がpixels（ピクセル）を必要とするとき、understanding streamはdiscrete handoff token（ディスクリートな受け渡しトークン）を発行します。その後、generation streamはaccumulated state（蓄積された状態）からrenders（レンダリング）します。Training（学習）は、discrete sequences（ディスクリートシーケンス）のnext-token predictionと、continuous outputs（連続出力）のflow matchingを組み合わせます。このdesign（設計）にはpractical effects（実用的な効果）があります。Bounding boxes（バウンディングボックス）は、別のdetector（検出器）からではなく、coordinate tokens（座標トークン）として出力されます。videoのfirst frame（最初のフレーム）は、re-encoded copy（再エンコードされたコピー）ではなく、in-context image representation（コンテキスト内の画像表現）をreuses（再利用）します。