AIの好み学習を改善する方法

このチュートリアルでは、Anthropic HH-RLHFデータセットとDirect Preference Optimization (DPO) を使用して、エンドツーエンドの好み学習ワークフローを設計します。まず、堅牢なColab環境を準備し、選ばれた応答と拒否された応答のペアを読み込んで解析し、構造的および長さに基づく好みの偏りについてデータセットを監査します。次に、表面的な言語パターンが好ましい応答と拒否された応答を区別できるかどうかを判断するために、語彙的ショートカット診断を実行し、トークナイザーを考慮した長さフィルタリングで会話データを準備し、TRLとオプションのLoRA適応を用いたバージョンに堅牢なDPOトレーニングパイプラインを構築します。最後に、Qwen2.5-0.5B-Instructモデルをfine-tuneし、報酬の精度とトレーニングの挙動を評価し、個々のHH-RLHFサブセット全体でのパフォーマンスを分析し、潜在的な長さの偏りを検査し、サンプル応答を生成し、さらなる実験のために結果として得られたポリシーを保存します。Copy Code Copied Use a different Browser import dataclasses import importlib.util import inspect import os import re import subprocess import sys import warnings warnings.filterwarnings("ignore", category=UserWarning) REQUIRED = ["trl>=0.12", "transformers>=4.45", "accelerate", "datasets", "peft", "scikit-learn"] def ensure_deps(): """Install in ONE pip call so the resolver picks a mutually compatible set.""" try: import trl import transformers return False except ImportError: print("Installing dependencies...") subprocess.check_call([sys.executable, "-m", "pip", "install", "-q", "-U", *REQUIRED]) return True def drop_broken_torchao(): """Colab ships torchao 0.10.0; peft demands >0.16 and raises rather than skipping. Nothing here uses torchao, so removing it is safer than upgrading (an upgrade can drag in a torch build that does not match this runtime).""" if importlib.util.find_spec("torchao") is None: return False try: from peft.import_utils import is_torchao_available is_torchao_available() return False except ImportError: print("Removing incompatible torchao (unused, but peft