AI学習を効率よく進める方法

このインタラクティブガイドでは、Transformerの学習におけるdata parallelism、FSDP、tensor parallelism、pipeline parallelism、expert parallelismについて探求します。様々なハードウェアと通信パターンが、それぞれの戦略がボトルネックになる時期をどのように決定するかについて焦点を当てています。