DiffusionGemmaが文章を4倍速く作成

26B Mixture of ExpertsモデルであるDiffusionGemmaは、テキスト拡散を利用して文章生成を高速化し、テキストブロックを同時に生成することでGPU上で最大4倍の速度向上を実現します。これは速度が重視されるアプリケーションを対象としており、低レイテンシやbi-directional attentionといった利点を提供し、量子化すればハイエンドの消費者向けGPUにも適合します。標準モデルと比較して一部の品質を速度と引き換えにしていますが、効率的なlocal inferenceを可能にし、NVIDIAハードウェア向けに最適化されています。