AIがデータ分析を自動実行

このチュートリアルでは、DeepAnalyze-8Bを中心に自律型データサイエンスエージェントを構築し、実行します。安定したランタイムを準備し、必要な機械学習の依存関係をインストールし、限られたGPUメモリでワークフローを実用的に保つために、DeepAnalyzeのトークナイザーとモデルを4ビットモードでロードすることから始めます。次に、モデルがPythonコードを生成し、それを安全に実行し、結果を観察し、エージェントループで分析を継続できるようにするサンドボックス化された実行環境を作成します。ワークフローの終わりには、エージェントに現実的な複数ファイルのeコマースワークスペースを与え、データをクリーンアップ、結合、分析、視覚化、要約させて、構造化されたアナリスト級のレポートを作成させます。

DeepAnalyze-8Bランタイムの依存関係のインストール

Copy Code Copied Use a different Browser

import os, sys, subprocess

os.environ["MPLBACKEND"] = "Agg"

def _pip(*args):

subprocess.check_call([sys.executable, "-m", "pip", "install", "-q", *args])

_SETUP_FLAG = "/content/.da_ready"

if not os.path.exists(_SETUP_FLAG):

print("Installing dependencies (one-time). The runtime will RESTART; " "just re-run this cell afterwards.\n")

_pip("-U", "transformers>=4.44", "accelerate>=0.30", "bitsandbytes>=0.43")

_pip("sentencepiece")

_pip("openpyxl")

_pip("--force-reinstall", "numpy==2.0.2")

open(_SETUP_FLAG, "w").close()

print("\nDependencies ready. Restarting runtime now...")

os.kill(os.getpid(), 9)

DeepAnalyze-8Bに必要な機械学習の依存関係をColabランタイムに準備することから始めます。transformer、acceleration、quantization、tokenizer、およびspreadsheetライブラリを、より広範なノートブックワークフローを妨げることなくインストールします。また、NumPyを固定し、環境をクリーンで安定した状態に保つために、一度ランタイムを再起動します。

DeepAnalyze-8Bを4ビットモードでロード

Copy Code Copied Use a different Browser

import re, io, glob, time, signal, contextlib, warnings, traceback

from threading import Thread

import numpy as np, pandas as pd

import torch

from transformers import (AutoModelForCausal