AIが長い文章を速く処理

MiniMax Sparse Attentionは、モデルの品質を保ちつつ、グループごとのTop-kブロック選択を用いて長文の推論をスケールさせるスパースアテンションアーキテクチャです。109Bのマルチモーダルモデルにおいて、100万トークンでアテンション計算を約30倍削減しながら、GQAの性能に匹敵しました。