AIの待ち時間解消

AIモデルは通常、一度に1つのトークン（単語や文字のまとまり）を生成します。2番目のトークンがなければ、3番目のトークンを計算することはできません。GPUはほとんどの重い処理を行いますが、CPUが行う必要のある作業もいくつかあります。GPUバブルは、GPUがCPUの作業が完了するのをループで待機している間、アイドル状態になることで発生します。この記事では、pipeline decoding（パイプラインデコーディング）と呼ばれる技術を使ってこれらのバブルを隠す方法について考察しています。これは、CPUがまだ前のトークンの処理を終えている間に、GPUが次のトークンの作業を開始するというものです。