AIの学習データと評価方法

このチュートリアルでは、検証可能な報酬を伴うマルチモーダルな推論とreinforcement learningの実践的な基盤として、TuringEnterprises/Open-MM-RLデータセットを探求します。私たちはデータセットをロードし、そのスキーマを検査し、ドメイン、フォーマット、質問の長さ、回答タイプ、画像分布を分析し、各ドメインから代表的な例を視覚化します。また、正確な、数値の、分数の、LaTeXの、そして記号的な回答をチェックする軽量な報酬関数を構築し、モデルの出力を評価するのに役立つ方法を提供します。最後に、vision-language modelsのためのプロンプトをフォーマットし、必要に応じてサンプル例でSmolVLMをテストし、将来のmultimodal RL trainingのためにデータセットをGRPOスタイルの構造にエクスポートします。 拡張コードをコピーしました 別のブラウザを使用してください import subprocess, sys subprocess.run([sys.executable, "-m", "pip", "-q", "install", "datasets>=3.0", "huggingface_hub>=0.24", "transformers>=4.45", "Pillow", "matplotlib", "pandas", "numpy", "sympy", "accelerate", "tqdm"], check=True) import os, re, io, json, math, random, textwrap, hashlib, warnings from collections import Counter from pathlib import Path import numpy as np import pandas as pd import matplotlib.pyplot as plt from PIL import Image import sympy as sp from datasets import load_dataset warnings.filterwarnings("ignore") random.seed(0); np.random.seed(0) pd.set_option("display.max_colwidth", 120) DS_ID = "TuringEnterprises/Open-MM-RL" ds = load_dataset(DS_ID, split="train") print(f"Loaded {DS_ID} — {len(ds)} rows") print("Features:", ds.features) print("Row 0 keys:", list(ds[0].keys())) 必要なすべてのライブラリをインストールし、データセットのロード、分析、視覚化、記号数学、ファイル処理に必要なコアツールをインポートします。再現性のために乱数シードを設定し、長いテキストフィールドが明確に表示されるようにpandasを設定します。その後、Hugging FaceからTuringEnterprises/Open-MM-RLデータセットをロードし、そのサイズ、特徴、および最初の行の構造を検査します。 拡張コードをコピーしました 別のブラウザを使用してください df = ds.remove_columns(["