🧠 AI知识库

简介

微软开源的大模型训练优化库，核心创新是ZeRO（零冗余优化器）分阶段优化显存占用。ZeRO-3可将万亿参数模型分布在数百个GPU上训练。集成混合精度训练、CPU Offload等技术，是训练GPT级别大模型的核心基础设施，PyTorch生态标配。