AIの知識を移す技術の進化

蒸留は、大規模モデルをより小さく、安価なものに圧縮する方法として始まりましたが、最先端モデルから指示に従う能力や推論能力を転送するための、トレーニング後の主要な技術へと進化しました。DeepSeek、Qwen、GLMが使用する手法は、オープンモデルの開発と、独自のモデル出力でのトレーニングが無許可のコピーにあたるかどうかを巡る継続的な紛争の両方の中心に位置しています。