AIの賢さ、計算量で変化

ベンチマークの評価表は本当の状況を隠しています。なぜなら、LLMの能力は現在、テスト時の計算量に依存する機能となっているからです。これは、GPT-5.5が最大計算量のサイバー評価ではGPT-5.4とわずかにしか変わらないように見えても、tokens、cost、またはlatencyをX軸で制御すると大幅に強力になることで示されています。性能の限界は現在、経験的に非常に遠く、より強力なモデルはその限界をさらに押し広げるため、単一の数値で表されるベンチマークスコアは、リリースごとに情報量が少なくなるでしょう。