シャオミAIが超高速に進化

Xiaomiと推論パートナーのTileRTは、1兆パラメータモデルであるMiMo-V2.5-Pro-UltraSpeedを開発しました。このモデルは、標準的な8-GPUコモディティノードで1秒あたり1,000トークンの推論速度を誇ります。この速度は、モデルのエキスパート層におけるFP4 quantizationと、一度に1つのトークンではなく、1回のパスでトークンの完全なブロックを提案するDFlash speculative decodingによって達成されました。このモデルは、6月9日から6月23日まで限定APIトライアルを通じて利用可能です。出力が約10倍になるのに対し、標準のMiMo-V2.5-Pro料金の3倍の費用がかかります。