Colossal-AI 如何降低大模型训练成本

用并行和优化器把大模型训练从专家手工作业变成可复用的系统。

模型变大之后，单卡放不下梯度，通信和显存会先成为瓶颈。Colossal-AI 把张量并行、流水线并行和零冗余优化器放进同一套接口。