olmo-eval: AI開発の評価ツール

olmo-evalは、反復的なLLM開発のために設計された新しい評価ワークベンチです。OLMES標準を強化し、ベンチマークの追加を効率化し、agenticおよびmulti-turnの評価をサポートし、モデルのチェックポイント間の変更を比較することで分析を促進します。Harborとは異なり、olmo-evalは柔軟性を提供し、リソースの使用を最小限に抑え、公開ベンチマークではなく開発に焦点を当てています。