🧠 AI知识库

简介

NVIDIA开源的大模型分布式训练框架，实现了张量并行、流水线并行、序列并行等高效并行策略。结合DeepSpeed，可以高效训练万亿参数模型。是大多数LLM训练方案的核心参考实现，NVIDIA NeMo框架也基于Megatron-LM构建。