研究tldr-ai2026-10-13
AIの知識伝達、オフラインが有利
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
AIに知識を教える際、AIが自分で試したデータを使う「オフライン学習」が、従来のやり方より正確で効率的だと判明。AIの学習効率向上が期待されます。
On-policy distillationは、教師の能力を生徒モデルに転送するためにますます普及しています。最初の生徒が生成したオフラインのrolloutsからdistillするSemi-OPDは、精度とトレーニング効率の両方でOPDを上回ることがよくあります。OPDとSemi-OPDの選択は、最初の教師と生徒の間のalignmentに依存します。OPDは、両者が高いoverlap ratiosで高度にalignedしている場合にのみ有益です。
この記事について質問
記事の内容に答えます。記事外のことは都度ウェブで調べます。