AIの成長法則を慎重に

Scaling lawsは、deep learningにおける最も重要な経験的発見の一つです。これらは、compute、loss、model size、そしてdataの関係を記述するためのフレームワークとなり得ます。その予測可能性は実用上非常に価値があります。この記事では、scaling laws、それらをcomputeの最適な割り当てにどのように使用できるか、そしてその欠点について議論します。