AIが長い文章を高速処理

長文を扱うAI（エージェント）は、AIの処理を「入力が多い作業」に変えてきました。繰り返し行われる事前処理と100万トークンの文脈は、HBM（高性能メモリ）、SSDの容量、および帯域幅に負担をかけるKVキャッシュを残します。DeepSeek AIは、このボトルネックに焦点を当てて最新のリリースを構築しました。DeepSeek-V4.1-Flashは、552Bのバックボーンパラメータ、196Bの追加Engramパラメータ、および100万トークンの文脈窓を持つマルチモーダルなMixture-of-Expertsモデルです。事前処理中には8Bのパラメータを、推論中には16Bのパラメータをアクティブにします。主な数値は、トークンあたり890バイトというグローバルKVキャッシュのフットプリントで、これはDeepSeek-V4-Flashの約4分の1、DeepSeek-V1と比較すると約437分の1です。展開可能でしょうか？はい。オープンウェイトはMITライセンスのもと、Hugging FaceでvLLM、SGLang、およびTransformersのパスとともに提供されており、研究チームは低、高、最大推論の3つの階層を持つ公開APIについて説明しています。Causal Encoder-Decoder: 事前処理を半分に 40層のバックボーンは、20層の因果エンコーダーと20層のデコーダーに分割されています。YOCOに触発され、デコーダーは独自のグローバルKVを計算しません。代わりに、層ごとの射影重みが最終エンコーダーの隠れ状態からそれを導出します。したがって、プロンプトトークンはエンコーダーで停止し、事前処理の計算量をほぼ半分にします。128トークンの窓を持つSliding-window attention (SWA)はすべての層で実行されるため、デコーダーのSWA状態は最後の128個のプロンプトトークンのみを再生することで再構築されます。研究チームはこれをDecoder SWA Bounded Replayと呼んでいます。Compressed Sparse Attention 2 (CSA2) DeepSeek-V4はCSAとHeavily Compressed Attentionを組み合わせていました。V4.1-Flashは純粋なCSA2を使用し、層軸に沿ってキャッシュサイズを攻撃します。各CSA2層には静的に3つのモードのいずれかが割り当てられます。Full: 独自のメインKVを計算し、そこからインデクサーKを射影し、新しいTop-512インデックスを選択します。Reindex: 最後のFull層からのメインKVとインデクサーKを再利用しますが、独自のインデクサーQでそれらを再スコアリングします。Reuse: メインKVと最新のTop-Kインデックスの両方を再利用し、インデクサーを完全にスキップします。すべての層は独自のメインQとSWA KVを保持します。18個のCSA2エンコーダー層