ClaudeのAI、言葉の覚え方が独特

Claudeの現在のtokenizerは、約15,000のエントリしか持たないようです。これは驚くべきことです。なぜなら、この分野ではより多くのエントリを持つことが良いという傾向があったからです。一つの説として、Anthropicが最終的なsoftmax layerによって引き起こされるボトルネックを回避しようとしているというものがあります。この記事では、Anthropicがこれをどのように達成しているのか、そしてそれがモデルのトレーニングにどのような影響を与える可能性があるのかを詳しく見ていきます。