AIが考えた途中結果を再利用

最先端のブロック単位のDiffusion Large Language Models (dLLMs) は、最も確信度の高いトークンのみをデコードし、残りを破棄するremaskingメカニズムに依存しています。破棄されたトークンからの計算を再利用することは有益です。なぜなら、これらのトークンは後続のデコード反復に役立つ文脈情報を保持しているからです。Residual Context Diffusionは、これらの破棄されたトークン表現を文脈的なresidualsに変換し、次のdenoisingステップに再注入するモジュールです。これは、幅広いベンチマークにおいて、最小限の追加計算オーバーヘッドで、最先端のdLLMsの精度を一貫して向上させます。