研究tldr-ai2026-09-21
AIの計算力は学習データ由来
Pretraining data, not verifiability, is why LLMs are especially good at math (and coding)
文章を書くAIが計算に強いのは、学習データが正しいからだと分かりました。他の分野でAIが混乱するのは、データが不正確なためです。
大規模言語モデル（LLM）が数学的な議論を判断するのに優れているのは、強化学習ではなく、依然として主に模倣学習によって動かされているためです。LLMが特に数学に強いのは、数学文献のほとんどすべてが正しいからです。彼らは、メタ認知戦略を磨くために、少しの厳選された中間学習データやRLを必要とするだけです。他の多くの分野では、研究文献は少々ひどいものであり、真実で価値のある情報が、誤りや混乱した考えの海の中に混ざっています。このため、LLMは時折洞察を示すものの、大量の混乱したナンセンスを吐き出すことになります。
この記事について質問
記事の内容に答えます。記事外のことは都度ウェブで調べます。