#分布式并行

大模型技术实践（五）｜支持千亿参数模型训练的分布式并行框架

本文针对大模型训练中单个GPU负载和通信瓶颈问题，介绍了数据并行（DP、DDP、ZeRO）和模型并行（流水线并行、张量并行）技术，以及Megatron等分布式框架。适用于千亿参数级模型的高效并行训练。