AIの性能を測る仕組み

smevalsは、大小さまざまなAIモデルに対してevalsを実行するためのフレームワークです。Evalとは、特定の高レベルな能力において、特定のモデルまたはモデルとハーネスの構成がどれだけ優れているかを判断するために使用される、タスクの集合体です。タスクとは、モデルがその能力を評価されるために完了しなければならない個々の演習です。Evalsは、関連するEvalsのSuiteにグループ化することもできます。これは主に、ディスク上での整理メカニズムとして機能します。