研究tldr-ai2026-05-29
AI学習の常識が変化
For over a decade, we've accepted that end-to-end backprop is the only way to train deep networks
Sakana LabsがAIの学習方法を革新し、AI開発の大きな課題だったメモリ不足を解決する可能性を示しました。
10年以上にわたり、私たちはend-to-end backpropが深層ネットワークを学習させる唯一の方法だと受け入れてきました。 ネットワーク全体を一度にメモリに保持することが、AI学習がリソースの壁にぶつかる理由です。Sakana Labsは、ネットワークをブロックに分割し、それぞれを独立して学習させる新しい方法を発見しました。その秘訣は、ネットワークの順方向パスを、信号をノイズ除去するdiffusion modelのように扱うことでした。これにより、深層モデルの学習に必要なメモリが大幅に削減されます。