AIのソフト開発力テスト

新しいReal-SWEベンチマークは、実際のソフトウェアエンジニアリングの状況を反映し、非公開の企業コードベースを使用してAIモデルの複雑なタスクをテストします。解決率は最高38.8%で、エージェントは独自のシステムやビジネス固有のコーディング規約といった課題に直面しています。