AIテスト結果、なぜ違う？

同じプロバイダー、モデルファミリー、測定指標、単位、そしてベンチマーク名を持つ2つのビルドでも、異なるスコアを出すことがあります。その違いは、実行者、採点者、そしてデータセットの分割方法にあります。共通の mmlu というラベルは、データセットのファミリーを識別するものであり、完全な測定手順を示すものではありません。