シャオミ、動画から物を消すAIの評価方法を発表

物体除去モデルは、それらを評価するための指標よりも速く進化してきました。Diffusion erasersは現在、影、反射、隠された構造を説得力のある形で再構築しますが、PSNR、SSIM、LPIPS、ReMOVE、CFDといった指標は、しばしばその出力を誤ってランク付けします。根底にある原因は構造的なものです。除去は不適切で多対一のタスクであるため、比較対象となる単一のground truthは存在しません。MiLM Plus、Xiaomi Inc.のチームは、このギャップを埋めるために、ACM MM 2026で採択されたPROVE (Perceptual RemOVal cohErence)を発表しました。PROVEは、空間的な一貫性のためのRC-Sと、時間的な一貫性のためのRC-Tという2つの知覚に合わせた指標を、2層構造の現実世界ビデオベンチマークであるPROVE-Benchと組み合わせています。どちらの指標も、DINOv2 featuresに対するsliding-window Maximum Mean Discrepancyを使用して、編集された領域を局所的にスコアリングし、参照ビデオを必要としません。これは展開可能ですか？はい、製品機能としてではなく、評価ハーネスとしてです。PROVEは、Apache 2.0 PyTorch repoとして、1つのCLIエントリポイント (run_prove_metrics.py) と共に提供されます。Python 3.10+、PyTorch 2.6+、Transformers 4.51+、およびDINOv2-giant weightsが必要です。マスクは必須であり、白いピクセルが除去されたオブジェクトを示します。企業レベル：1つのGPUとマスクパイプラインを持つあらゆるチーム。RC-Sは単一のRTX 4090で134.6 ms/frameで動作するため、スタートアップ企業にとっては夜間のCIゲートが実用的です。大規模な編集カタログを持つ企業は、ペアになったground truthが不要なため、最も恩恵を受けます。産業：スマートフォンギャラリーおよびカメラアプリ、ショートビデオ編集、eコマースカタログのクリーンアップ、広告およびストックメディア、映画/VFXポストプロダクション、不動産画像、マッピングアーカイブにおけるプライバシー編集。アプリケーション：モデルの比較評価、RC-S/RC-TでのCIゲート、参照ビデオなしでのinference stepsまたはquantizationの調整、トレーニングデータのフィルタリング、報酬モデルの形成。購入者：まず編集チームのCV研究者および応用AI/MLエンジニア、次にスコアをCIに組み込むMLOpsエンジニア、3番目にベンダー比較を行うプロダクトマネージャー。適さない場所：リアルタイムのオンデバイス...