AIが動画編集を自動化する仕組み

このチュートリアルでは、VideoAgentのワークフローを再現可能な形で構築し、動画理解、検索、編集、再作成の背後にある核となるエージェントパイプラインに焦点を当てます。<br>まず、APIキーなしで動作する軽量な環境を設定します。意図パーサー、エージェントライブラリ、ツールルーター、グラフプランナー、および実行グラフ内の不足している依存関係を修復するtextual-gradient optimizerを定義します。また、これらの計画コンポーネントを、FFmpeg、Whisperベースの文字起こし、シーン検出、キーフレームサンプリング、キャプション作成、クロスモーダルインデックス作成、検索、トリミング、ビート同期編集、最終レンダリングを含む実用的な動画処理ツールに接続します。<br>チュートリアルの終わりには、動画に関する質問に答えたり、その内容を要約したり、ニューススタイルの概要を生成したり、自然言語の指示から編集済み動画成果物を生成したりできる、完全なマルチエージェント動画システムが完成します。<br>VideoAgentランタイムとマルチプロバイダーLLMラッパーの設定<br>コードをコピー<br>コピー済み<br>別のブラウザを使用<br>CONFIG = { "provider": "", "api_key": "", "base_url": "", "model": "", "max_shots": 4, "opt_rounds": 4, "run_demos": ["qa", "overview", "highlight", "beatsync"], }<br>import os, sys, subprocess, json, math, re, wave, textwrap, shutil, time<br>from collections import defaultdict, deque<br>def _sh(cmd): return subprocess.run(cmd, capture_output=True, text=True)<br>def _pip(pkgs): _sh([sys.executable, "-m", "pip", "install", "-q", *pkgs])<br>IN_COLAB = "google.colab" in sys.modules<br>if IN_COLAB or os.environ.get("VA_INSTALL", "1") == "1":<br>for spec in (["openai-whisper"], ["gTTS"], ["sentence-transformers"]):<br>try: _pip(spec)<br>except Exception as e: print(f"[install] {spec} failed ({e}); a fallback will be used.")<br>try: import numpy as np<br>except Exception: _pip(["numpy"]); import numpy as np<br>try: from PIL import Image, ImageDraw, ImageFont<br>except Exception: _pip(["pillow"]); from PIL import Image, ImageDraw, ImageFont<br>HAS_FFMPEG = shutil.which("ffmpeg") is not None<br>WORK = "/"