プロダクトtldr-ai2026-05-12
Cerebrasが新たなAI推論技術を発表
The Inference Shift
Cerebrasが新しいAI推論技術を発表し、応答速度を向上させるが、メモリ制限もあるため注意が必要です。
Cerebrasの急成長するIPOは、「回答推論」と呼ばれるトークン速度に最適化された推論と、「エージェント推論」と呼ばれるメモリ階層に最適化された推論の間に来る分岐を示しています。CerebrasのWSE-3は、21 PB/sの速度で44GBのオンチップSRAMを搭載しており、H100の約6,000倍のメモリ帯域幅を持っています。これにより、音声やAIウェアラブルなどの人間向けの低遅延応答に最適ですが、KVキャッシュやモデル重みがオンチップ容量を超える場合には不適切です。