NVIDIAがNeMo AutoModelを発表、AIの学習を高速化

NVIDIAは、Hugging Face上でNeMo AutoModelを発表し、Qwen3やDeepSeek V3のような大規模な専門家混合アーキテクチャの学習パイプラインを最適化します。このフレームワークは、専門家の重みをGPUクラスター全体に動的に分配するための専門家並列処理とDeepEP融合通信カーネルを導入しています。ベンチマーク結果は、ネイティブのTransformers v5ライブラリと比較して、学習スループットが最大3.7倍向上し、ピークGPUメモリ使用量が32%削減されることを示しています。