AIに道具の使い方を教える

このチュートリアルでは、XYZ-Aquila-SFTデータセット、Hugging Face Transformers、PyTorch、およびPEFTを用いた、エンドツーエンドの教師ありfine-tuningパイプラインを実装します。データセットをストリームして検査し、複数ターンのツール使用履歴を解析し、構造化されたツール呼び出しを抽出し、コーパスの特性を分析し、埋め込まれた推論および観察パターンを保持します。次に、ツールスキーマをメッセージ埋め込み形式と構造化形式の間で変換し、アシスタントのみの損失マスキングを備えたQwen互換のChatMLをレンダリングし、カスタムのPyTorchデータセットとコレーターを準備し、LoRAを使用してQwen3-0.6Bをfine-tuningします。最後に、トレーニング前後のツール呼び出し予測を評価し、さらなる実験のために変換されたデータセットとコーパス統計の両方をエクスポートします。 導入コードのコピー例: 別のブラウザを使用してください。import os, sys, subprocess 導入コードのコピー例: CFG = dict( REPO = "XYZAILab/XYZ-Aquila-SFT", LANG = "en", N_STREAM = 400, N_EVAL = 40, MODEL_ID = "Qwen/Qwen3-0.6B", MAX_SEQ_LEN = 2048, LENGTH_POLICY = "truncate", RUN_TRAINING = True, MAX_STEPS = 30, GRAD_ACCUM = 8, LR = 1e-4, LORA_R = 16, RUN_EVAL = True, N_EVAL_PROBES = 24, OUT_DIR = "/content/aquila_out", SEED = 0, ) os.makedirs(CFG["OUT_DIR"], exist_ok=True) def pip(*pkgs): subprocess.run([sys.executable, "-m", "pip", "install", "-q", "-U", *pkgs], check=False) pip("datasets>=3.0.0", "transformers>=4.51.0", "peft>=0.13.0", "accelerate>=1.0.0") import json, re, math, random, statistics as stats from collections import Counter, defaultdict from dataclasses import dataclass, field from typing import Any, Dict, List, Optional import torch import matplotlib.pyplot as plt from datasets import load_dataset from transformers import AutoTokenizer, AutoModelForCausalLM, get_cosine_schedule_with_warmup random.seed(CFG["SEED"]); torch.manual_seed(CFG["SEED"]) DEV = "cuda" if torch.cuda.is_available() else "cpu" BF16 = DEV == "cuda" and torch.cuda.is_bf16_supported() print(f"device={DEV} bf16={BF16} torch={torch.__version__}") print(f"[1] streaming {CFG['REPO']}:{CFG['LANG']} ...")