AIを速く動かす新技術

この投稿では、decode megakernelを中心に構築された本格的なserving systemを紹介します。このシステムは、実際のサーバーが必要とするすべての機能、すなわちcontinuous batching、paged attention、ragged sequence lengthsを、tool callingを備えたOpenAI互換のエンドポイントの背後でサポートします。このmegakernelは、バッチサイズ1で毎秒292トークン、またはSoLの62%に達し、vLLMよりも1.58倍高速です。この差は、バッチサイズ全体および256Kのcontextまで維持され、測定可能な精度損失はありません。