映画レビューAIの性能を徹底検証

このチュートリアルでは、Stanford NLP IMDb Large Movie Review Datasetを使用して、エンドツーエンドの感情分析ワークフローを開発し、古典的な機械学習とパラメータ効率の良いTransformer fine-tuningを比較します。まず、再現可能な環境を確立し、強力なTF-IDFとLogistic Regressionのベースラインをトレーニングする前に、クラスの順序、レビューの長さの偏り、重複の漏洩、前処理のアーティファクトについてデータセットを監査します。次に、PEFTを介してLoRAでDistilBERTをfine-tuneし、精度、macro-F1、ROC-AUC、混同行列、ROC曲線を使用して評価し、Expected Calibration Errorと信頼性分析を通じてしきい値の選択と確率のキャリブレーションを調べます。主要な指標を超えて、確信度の高いエラー、レビューの長さ全体でのパフォーマンス、単語レベルのオクルージョン・サリエンシー、およびヘッド対テール・トランケーションを調査し、モデルがどのように予測に到達するか、そして長文コンテキストの制限がパフォーマンスにどのように影響するかを理解します。最後に、ラベルなしのIMDb分割を信頼度ベースのpseudo-labelingに使用し、結果として得られるsemi-supervisedモデルをベースラインと比較し、再利用可能な感情推論のために結合されたTransformerを保存します。Copy Code Copied Use a different Browser import importlib.util, subprocess, sys, os, time, random, warnings, inspect, hashlib warnings.filterwarnings("ignore") os.environ["TOKENIZERS_PARALLELISM"] = "false" os.environ["WANDB_DISABLED"] = "true" _REQUIRED = { "transformers": "transformers", "datasets": "datasets", "peft": "peft", "accelerate": "accelerate", "sklearn": "scikit-learn", } _missing = [pkg for mod, pkg in _REQUIRED.items() if importlib.util.find_spec(mod) is None] if _missing: print(f"Installing: {', '.join(_missing)} ...") subprocess.run([sys.executable, "-m", "pip", "install", "-q", *_missing], check=True) print("Done. (If imports fail below, restart the runtime and re-run.)\n") import numpy as np import pandas as pd import torch import matplotlib.pyplot as plt from datasets import load_dataset from