📦 模型库与引擎
Model Libraries & Engines
预训练模型库和推理引擎加速了从开发到部署的流程。HuggingFace Transformers是最大的模型库，vLLM是高性能推理引擎的代表，llama.cpp让大模型能在消费级硬件上运行。这一层降低了AI使用门槛。
平台/工具（8项）
模型库
推理引擎
🌍 海外
DeepSpeed
微软开源的大模型训练优化库，核心创新是ZeRO（零冗余优化器）分阶段优化显存占用。ZeRO-3可将万亿参数模型分布在数百个GPU上训练。集成混合精度训练、CPU Offload等技术，是训练GPT级别...
Megatron-LM
NVIDIA开源的大模型分布式训练框架，实现了张量并行、流水线并行、序列并行等高效并行策略。结合DeepSpeed，可以高效训练万亿参数模型。是大多数LLM训练方案的核心参考实现，NVIDIA NeM...
Ollama
一键式本地大模型运行工具，封装llama.cpp后端，提供类Docker的模型管理体验。支持从命令行拉取、运行和管理开源模型（Llama、Mistral、Gemma等），自动处理量化和GPU加速。极大...
vLLM
UC Berkeley开源的高吞吐量LLM推理引擎，核心创新是PagedAttention显存管理技术。KV缓存利用率接近100%，相比HuggingFace Transformers推理吞吐量提升最...