FlashMemoryがDeepSeek-V4の情報を効率化

FlashMemoryは、DeepSeek-V4のCSA KV-cacheチャンクが将来のトークンにどのように関連するかを予測し、最も関連性の高いチャンクのみをGPUに保持します。このリトリーバー（情報を取り出す機能）は、デバイス上で約10〜15%のKVキャッシュを保持しながら、下流のパフォーマンスを維持または向上させると報告されています。