AIが難しいパズルを安く解く

この研究者は、5090で1.5時間かけて小さなtransformerを一から訓練しました。これは多くの大規模言語モデルを上回り、TRM/HRMと同じスコアを獲得し、ARC-2でも7%を達成しました。この研究者の研究は主にsample efficiencyに焦点を当てていました。彼らの主な意図は、transformerと今日のdeep learning手法に限定された場合のsample efficiencyの限界を見つけ、反復をはるかに速く安価にするためにコストを削減することでした。この記事は彼らの研究の技術的な詳細を提示しています。