AIの学習方法に新発見

強化学習、on-policy distillation、およびnear-policyデータに対するsupervised fine-tuningは、パラメータのごく一部しか変更しません。少ないことと疎であることは異なる主張です。期待されるgradientはcovarianceであり、Fisherはvarianceであり、Fisherはあらゆる報酬に対するgradientの上限を定めます。ある位置において、Fisherはlogit sensitivitiesのvarianceです。つまり、すべての候補を一緒に動かすものは何の意味も持ちません。これらのいずれもon-policy samplingを必要とせず、サンプリング分布の下で中心化されたスコアを必要とします。