AIの長いプログラム作成能力を測る新しい試験

MirrorCodeは、AIモデルの長期間にわたるタスクをテストするベンチマークです。これは、AIモデルが元のソースコードにアクセスすることなく、プログラム全体をエンドツーエンドで再実装しなければならないタスクを含んでいます。AIが生成したソリューションは、エンドツーエンドのテストにおいて元のプログラムの出力と完全に一致する必要があります。このベンチマークの25のターゲットプログラムは、Unix utilities、data serialization and query tools、bioinformatics、interpreters、static analysis、cryptography、compressionなど、コンピューティングのさまざまな分野にわたっています。