AIの動き分析手順を公開

このチュートリアルでは、Hugging FaceのFable 5 Tracesデータセットを使い、実際のコーディングエージェントのtraceデータに関する完全なワークフローを構築します。軽量な環境をセットアップし、datasets、scikit-learn、scipyのような不安定な依存関係を避けます。次に、Colabでノートブックを安定させるために、結合されたJSONLファイルを手動でダウンロードして解析します。そこから、リポジトリファイルを調査し、生のtrace例をプレビューし、tool callsとテキスト出力を正規化し、データセット構造を監査し、潜在的な秘密のようなパターンを検出し、出力タイプ、ツール、ソースルート、テキスト長などの主要な分布を視覚化します。また、安全なno-CoT chat/SFTエクスポートを作成し、シンプルなキーワード検索ヘルパーを構築し、traceコンテキストがアシスタントの出力タイプとツールの使用を予測できるかどうかを評価するために、純粋なPythonのNaive Bayes baselinesを訓練します。<br>Fable 5 Traces Colab環境とヘルパーのセットアップ<br>import os<br>import sys<br>import json<br>import re<br>import math<br>import random<br>import subprocess<br>from pathlib import Path<br>from collections import Counter, defaultdict<br>def install_packages():<br> packages = [<br> "huggingface_hub>=0.23.0",<br> "rich>=13.0.0",<br> "tqdm>=4.66.0",<br> ]<br> subprocess.run(<br> [<br> sys.executable,<br> "-m",<br> "pip",<br> "install",<br> "-q",< "-U",<br> "--upgrade-strategy",<br> "only-if-needed",<br> *packages,<br> ],<br> check=False,<br> )<br>install_packages()<br>import pandas as pd<br>import matplotlib.pyplot as plt<br>try:<br> import numpy as np<br>except Exception:<br> np = None<br>from tqdm.auto import tqdm<br>from rich import print as rprint<br>from rich.panel import Panel<br>from rich.table import Table<br>from huggingface_hub import HfApi, hf_hub_download<br>from IPython.display import display<br>DATASET_ID = "Glint-Research/Fable-5-traces"<br>FLAT_JSONL_FILENAME = "fable5_cot_merged.jsonl"<br>OUT_DIR = Path("/content/fable5_traces_tutorial_outputs")<br>OUT_DIR.mkdir(parents=True, exist_ok=True)<br>SEED = 42<br>random.seed(SEED)<br>if np is not None:<br> np.random.seed(SEED)<br>MAX_PREVIEW_CHARS = 900<br>N_AGENT_TRACE_PREVIEWS = 2<br>N_SAFE