AIの言葉処理、速さ測定

tokenizers v1: encode, decode and scaling, measured

AIが言葉を処理する「トークナイザー」の新しい版が公開。言葉の変換速度や効率が測定され、AIの処理が速く効率的になることが期待されます。

• ・AIが言葉を理解する道具の新しい版が公開され、その性能が注目されています。
• ・言葉をAIが読める形に変換する速度や、大量の言葉を扱う効率を詳しく測定。
• ・これにより、AIの処理が速くなり、より効率的なAIの利用が期待されます。