AIが継続学習、睡眠で効率アップ

Googleの研究者たちは、モデルが短期的なin-context知識をdistillationとreplayを通じて長期的なparametersに統合するのを助ける新しい「Sleep」パラダイムを提案しています。このアプローチは、自己改善のために合成カリキュラムを生成するために、reinforcement learningを用いた「Dreaming」ステージも使用します。