LMQL

Transformers

Hugging Face 出品的模型定义框架，统一文本、视觉、音频与多模态模型的推理与训练接口。

vLLM

★ 93,170

高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。

LangChain

★ 147,438

开源 Agent 工程框架，用可互操作组件与集成快速搭建 LLM 应用与智能体。

Diffusers

Hugging Face 出品的扩散模型工具箱，支持图像、视频、音频生成与训练。

MLflow

开源 AI 工程平台，支持 LLM 与 ML 模型的追踪、评估、监控与部署。

Ray

分布式 AI 计算引擎，用统一框架把 Python 与 AI 应用从单机扩展到集群。