AIが考える途中を次へ引き継ぐ新方式

研究者たちはLIFTを開発しました。これは、出力する単一のトークンを通じてすべてを押し出すのではなく、その内部状態を次の生成ステップにフィードバックするTransformerです。 学習は並列性を保ちます。なぜなら、その状態は市販モデルの次トークン予測から事前に計算されたものを使用するからです。一方、推論時にはモデルは自身の状態をフィードバックします。 1億3500万から10億パラメータのLIFTモデルは、言語モデリング、推論、および手続き的タスクにおいて、トークン数で一致する標準的なTransformerを上回りました。したがって、次の疑問は、この性能向上が最先端の規模でも維持されるかどうかです。