AIの記憶を仮想的に管理する技術

KV cacheは、モデルが各デコーディングステップでアテンションのキーと値を再計算するのを避けるための、リクエストごとのストアです。これはシーケンス長に比例して増加し、長いcontextsでは、モデルの重み自体よりも多くのGPU memoryを消費するため、貴重なリソースです。KV cacheはデフォルトで多くのmemoryを無駄にしています。この記事では、PagedAttentionがattention kernelsが引き続き機能できるような方法で、virtual memoryのアイデアをどのように実装しているかについて説明します。