AI計算の効率を60%超に向上

ほとんどの大規模なAIトレーニングは、35〜45%のModel FLOPS Utilization (MFU)で動作しています。これは、使用している計算リソースの2倍の費用を支払っていることになります。Lambdaのエンジニアは、8Bから405BまでのLlama 3.1モデルをNVIDIA Blackwell GPUsでベンチマークし、効率損失の根本原因を特定しました。Memory overheadParallelism strategySerialized communicationその結果、モデルアーキテクチャを変更することなく、MFUを60%以上に押し上げる（業界ベンチマークと比較して25%以上の改善）再現可能なフレームワークが誕生しました。ホワイトペーパーを入手してください。