AIが使うたび賢くなる技術

モデル開発において最も魅力的なフレーズの一つが「new scaling axis（新しい性能向上の軸）」です。業界が新しい性能向上の軸を見つけるたびに、モデルの有効性が大幅に向上してきました。Test Time Trainingという考え方は、新しい性能向上の軸を切り開くため、非常に魅力的です。新しい研究によりいくつかの画期的な技術が発見されましたが、continual learning problem（継続学習の問題）はまだ解決されていません。