AIの自律性を安く評価する新手法

PACEフレームワークは、高価なagentic LLMベンチマークの性能を、ごく一部の原子的な評価インスタンスを使って予測し、わずかなコストで高い精度を達成します。これは、非agenticベンチマークから選択されたインスタンスを持つ回帰モデルを使用して、agenticベンチマークのスコアを予測します。PACEは、評価コストを99%以上削減しながら、平均絶対誤差を4%未満に保ち、モデル開発と選定を支援します。