AIの記憶を強化する新構造を提案
A Princeton Researcher Proposes Recurrent Looped Transformer (RLT) that Carries Decoder State across Every Token, Fixing 96 Blocks per Token with Unbounded Temporal Depth
プリンストン大の研究者が、AIが次の言葉を考える際、過去の思考結果を引き継ぐ新構造「RLT」を提案。AIが長い文脈を理解し、複雑な思考ができるようになり、性能向上に期待されます。
ほとんどのdecoder-only LLMでは、トークンtの最終層で計算された情報は、トークンt+1の最初の層には何も渡されません。位置情報は、キャッシュされたキーとバリューに対するattentionを介してのみ通信します。プリンストン大学の研究者（Yifan Zhang）による技術レポート「Recurrent Looped Transformer (RLT)」は、このループを閉じることを提案しています。 最初の隠れ状態と、その層ごとのsliding-window attention (SWA) キャッシュは、プロンプトとレスポンスの両方で、境界でのリセットなしに次のトークンに引き継がれます。提案された研究は設計仕様です。これは、アーキテクチャ、execution schedules、およびRL replay contractを定義しており、測定された効率、推論品質、またはscalingの結果は明示的に報告されていません。RRLTの構築方法Recurrent Looped Transformer (RLT)は、因果的なencoderと再帰的なdecoderを組み合わせます。encoderは因果マスクの下でトークンを並列に処理し、表現e_tを生成します。そこからキーバリューメモリM≤tが投影されます。メモリグループはdecoder層間で共有することも（G = 1）、層固有に保つこともできます（G = L_D）。decoderは再帰を保持します。その完全な状態はH t = (s t , C t D )であり、s t は最終的なdecoder出力、C t D は各decoder層で保持されるSWAのキーとバリューです。各トークンについて、ゲート付きマージがe t を前の出力s {t-1}と結合し、その後、各decoderブロックはdecoderアクティベーションに対する因果SWA、encoderメモリへのcross-attention、およびFFNを実行します。ウィンドウWには現在のトークンが含まれるため、各層で最大W – 1の履歴エントリが保持されます。次のトークン分布はs t から読み取られ、初期化はBOSの前に学習された開始状態s*と空のキャッシュで一度だけ行われます。参照される結合構成では、48のencoder層と48のdecoder層を使用し、互換性のあるattentionとFFNの重みがそれらの間で共有されます。したがって、各トークンは96の論理ブロックを実行しますが、decoderブロックはcross-attentionを追加するため、ブロックごとのFLOPsは等しくありません。Zhangはこのことをactivation copyingではなく、parameter reuseと呼んでいます。3
この記事について質問
記事の内容に答えます。記事外のことは都度ウェブで調べます。