マイクロソフトが高性能AIを開発

マイクロソフトは、MAI-Base-2のトレーニングについて詳細を説明しました。これは2.8T-parameterのmixture-of-expertsモデルで、80Bのactive parametersを持ち、同社の事前トレーニング評価においてすべてのopen-weightモデルを上回ったと述べています。 この詳細な分析では、そのデータ戦略、compute efficiency、full-stack infrastructure、そしてマイクロソフトが社内でトレーニングしたfrontier modelsをFoundryを通じてenterprise offeringsに変える計画が取り上げられています。