AIの文章生成が速い理由

Speculative Decodingは、小さな下書きモデルが可能性の高い下書きの並びを提案し、大きなモデルがその並びを単一のforward passで並行して検証する技術です。これにより、多くのtokensを一度に見て、大きなモデルが生成したであろうtokensを受け入れることが可能になります。batch sizeが最適なtokens数よりも小さい場合、Speculative Decodingはモデルが「無料の」computeを使って並びをより速く完了させることを可能にします。しかし、高いthroughputでは、メモリを移動するためにその時間を使えたはずなのに、実際にはcomputeを無駄にしている可能性があります。