AIがスマホでのAI性能を測るツールを公開

モデルカードは、サーバークラスの完全な精度条件での品質を報告します。しかし、それらの数値が、同じモデルがスマートフォンでどのように動作するかを予測することはめったにありません。今週、Liquid AIはPipetteをリリースしました。これは、独立した方法論検証者としてArtificial Analysisと提携して構築された、エッジデバイス上のfoundation modelsをベンチマークするためのオープンソースプラットフォームです。Pipetteは、デバイス上での動作を、モデル単体ではなく、展開されたシステム全体の特性として扱います。その測定単位は、model + quantization + runtime + deviceという完全な構成です。公開されたデータセットは、30以上のモデル、macOS、iOS、Windows、Android向けのllama.cppビルド、256から8,192トークンまでのcontext lengthsにわたる、1,000以上のmodel × quantization × runtime × device × contextの構成における5つのデバイス上でのパフォーマンス指標をカバーしています。最初の検証済み結果は、M5 Maxを搭載したMacBook Pro、iPhone 17 Pro、Galaxy S26 Ultraから得られています。実用的な主張は検証可能です。同じスマートフォンで同じquantizationの2つの350Mモデルは、4,096トークンでdecode throughputの78.4%と33.8%を保持します。展開可能でしょうか？はい、PipetteはApache 2.0 infrastructure（pipette-mgmt、pipette-clients、pipette-scores）、公開された結果データセット、hosted dashboard、およびネイティブのiOSおよびAndroid benchmark appsとして提供されます。待機リストはありません。コミュニティから提出された結果のPublicationはまだbeta版です。対象企業：自社が所有しないhardwareにmodelを出荷するあらゆるチーム。Solo developersやseed-stage startupsは、infrastructureなしでdashboardとappsを使用できます。Mid-market product teamsは、internal device fleet全体でclientsを実行できます。Large OEMs、chip vendors、およびenterprisesは、自社のfirewallの背後でpipeline全体を運用できます。対象産業：Consumer electronicsおよびsmartphone OEMs、automotive、industrialおよびrobotics、healthcare devices、financial services、defense — latency、privacy、またはconnectivityによってinferenceがデバイス上で強制されるあらゆる場所。アプリケーション：sprint commits前のModelおよびquantization selection。