AIで動画と音声を自動作成

このチュートリアルでは、ヘッドレス推論バックエンドとしてComfyUIを使用し、MiniMax-H3ビデオ生成のエンドツーエンドのワークフローを実装します。GPUメモリ、ディスク容量、モデル精度、解像度、期間、サンプリング戦略、複数の生成モードに基づいて環境を設定し、利用可能なハードウェアに基づいて適切な重みプロファイルを動的に選択します。ComfyUIをプログラムでインストールして起動し、必要なdiffusion、text-encoder、video-VAE、およびaudio-VAEの重みをHugging Faceからダウンロードし、HTTPおよびWebSocket APIを通じて実行中のサーバーと通信します。また、ComfyUIの実行グラフをPythonで直接構築し、ライブの/object_infoエンドポイントに対してノードスキーマを検証し、text-to-video、最初のフレームと最後のフレームを条件とする生成、および参照画像を条件とする生成をサポートします。自動化されたモデル設定、スキーマを認識したグラフ構築、動画と音声の共同デコード、進行状況の監視、および出力の収集を組み合わせることで、グラフィカルなComfyUIインターフェースに頼ることなくMiniMax-H3を実験するための再現可能なパイプラインを作成します。Copy Code Copied Use a different Browser import json, os, re, shutil, subprocess, sys, time, uuid, urllib.request, urllib.error from pathlib import Path CFG = { "MODE": "t2v", "PROMPT": ( "リアルな実写映画のようなルック。夕暮れ時、嵐に打ち付けられる崖に立つ孤独な灯台守、アナモルフィックレンズ、浅い被写界深度、フィルムグレイン、立体的な潮しぶき。" "[0秒-2秒] ワイドショット：波が黒い岩に砕け散り、灯台の光がフレームを横切る。" "[2秒-4秒] ミディアムショット：灯台守が風に耐え、コートがはためき、顔に雨が当たる。" "[4秒-5秒] クローズアップ：彼が暗闇に目を細め、「彼女は持ちこたえている」と言う。" "カメラ：ショット間のハードカット、わずかな手持ちの揺れ、ディゾルブなし。" "オーディオ：全体を通して波の轟音と風のうなり、低音のチェロのドローンが下で鳴り響き、" "カットごとに重い波の衝撃音、嵐の中でセリフがはっきりと聞こえる。" "テキスト、字幕、ロゴ、または"