Ray

Transformers

Hugging Face 出品的模型定义框架，统一文本、视觉、音频与多模态模型的推理与训练接口。

vLLM

★ 93,170

高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。

LangChain

★ 147,438

开源 Agent 工程框架，用可互操作组件与集成快速搭建 LLM 应用与智能体。

Diffusers

Hugging Face 出品的扩散模型工具箱，支持图像、视频、音频生成与训练。

MLflow

开源 AI 工程平台，支持 LLM 与 ML 模型的追踪、评估、监控与部署。

PyTorch Lightning

基于 PyTorch 的深度学习训练框架，自动处理分布式、混合精度等工程细节，几乎无需改代码即可扩展到多卡多机。