AIの性能を測る評価のコツ

評価（Evals）は、特定の手順に従うことよりも、間違いを避けることの方が重要です。うまくいくような段階的なガイドはありませんが、より良く行う方法を教えてくれる実験設計のアプローチは存在します。この記事は、人々がベンチマークとEvalsの能力を向上させることを目的としています。性能の「ナプキン計算」の推定値のためのベースライン数値、AIモデルのEvals、そして車のタイヤに関する3種類のベンチマークを考察します。