AI学習で賢さの変わり方

事前学習（pre-training）中、モデルは応答パターンを突然切り替えることがあり、この現象はMODE-HOPPINGと名付けられています。テストにより、OLMo3-32Bが算術タスク中にこの挙動を示すことが明らかになりました。学習が進むにつれて、パターンに従う挙動から正しいタスク推論（inference）へと突然切り替わります。制御された実験は、モデル内に競合する浅い回路と汎化可能な回路が存在することを示唆しており、より長い学習が常に優れた汎化（generalization）を保証するわけではないことを明らかにしています。