AIが情報を繰り返し処理する新方式

「Recurrent Looped Transformer」は、因果関係を扱うcausal encoderと、最終的なhidden stateおよび層ごとのsliding-window attention cacheを全てのプロンプトと応答トークンにわたって引き継ぐrecurrent decoderを組み合わせたものです。encoderはグローバルなkey–value memoryを構築し、decoderはシーケンスが成長するにつれて連続的なlatent computationを拡張します。この設計は、無限の時間的深さを持つlatent reasoning、model–hardware co-design、およびmodel–RL algorithm co-designを統合します。しかし、実際に得られる推論の向上、ハードウェア効率、およびRLのスケーリングについては、まだ確立されていません。