AIが仕事のコードを直す性能を測る新しい方法

Rampは、支払い、会計、調達、財務、詐欺防止にわたる80の実際のバックエンドタスクから、独自のベンチマークを構築しました。これは、45分以内にテストを通過し、レビュー可能な状態のパッチを評価するもので、公開ベンチマークによる汚染なしに、モデルの正確性、遅延、コストにおけるトレードオフを明らかにします。