Googleの音AI評価ツール解説

このチュートリアルでは、Google ResearchのMassive Sound Embedding BenchmarkであるMSEBを使用し、リーダーボードの数値が実際に何を意味するのか、つまり評価器の表面という観点からアプローチします。<br>パッケージをインストールし、その3つのレイヤーをマッピングした後、フレームワーク自身の抽象基底クラスに対して意図的に異なる2つのエンコーダーを作成します。1つは時間経過に伴う音量を測定し、もう1つは音色を測定します。そして、ダウンロードの必要がないようにノートブック内で生成する小さな合成コーパスをエンコードします。<br>これらの埋め込みに対して、classification、clustering、retrieval、segmentationの評価器を実行し、各評価器が何を評価するかを直接確認するためにメトリック関数を呼び出し、最後に実際の提出物が持つTaskMetadataを組み立てます。<br>その結果、どの評価器が要求されるかによって2つのエンコーダーが入れ替わる比較が得られます。これは、散文ではなく数値で示されたマルチタスクベンチマークの議論です。<br>Copy Code Copied Use a different Browser<br>import os<br>import sys<br>import json<br>import math<br>import traceback<br>import subprocess<br>import numpy as np<br>RESULTS = {}<br>BENCH = {}<br>def banner(title):<br>print("\n" + "=" * 78)<br>print(title)<br>print("=" * 78)<br>def section(name):<br>def wrap(fn):<br>def run(*a, **kw):<br>banner(name)<br>try:<br>out = fn(*a, **kw)<br>RESULTS[name] = out if isinstance(out, str) else "ok"<br>return out<br>except Exception as e:<br>RESULTS[name] = f"SKIPPED / FAILED -> {type(e).__name__}: {e}"<br>print(f"\n[!] {name} did not complete: {type(e).__name__}: {e}")<br>traceback.print_exc(limit=3)<br>return None<br>return run<br>return wrap<br>banner("0. Install MSEB and map the three layers we will use")<br>subprocess.run([sys.executable, "-m", "pip", "install", "-q", "mseb==0.1.0"], check=True)<br>import mseb<br>from mseb import types, encoder as encoder_lib, evaluator as evaluator_lib, metrics<br>from mseb.evaluators import (<br>classification_evaluator,<br>clustering_evaluator,<br>retrieval_evaluator,<br>segmentation_evaluator,<br>)<br>print(f" mseb {mseb.__version__} | Python {sys.version.split()[0]} | numpy "