AIの言葉の区切り方を最適化

最先端のAIモデルは通常、トークンとして知られる整数の並びで学習されます。各トークンは特定のバイト列を指し、これらのバイト列はしばしば一般的な単語に対応します。本稿では、特定の状況において最適なtokenizerを計算できるアルゴリズムを提示します。