AIが速く動く新技術

DFlashとSGLangのSpec V2エンジンを用いた最新世代の投機的デコーディングについて詳しく説明します。ベンチマークでは、ベースラインの推論およびネイティブMTP投機と比較して、大幅なスループットの向上が示されました。