BentoML

github.com

Python 模型服务框架，几行代码把任意 AI 模型变成推理 API，支持动态批处理与多模型编排。

开源有 API可自部署本地模型命令行Linux

GitHub ★ 8,900被推荐 1 次

访问网站 ↗

适合做什么

适合 ML 工程师与后端团队把模型部署成生产级推理服务，做多模型流水线、任务队列与 GPU 利用率优化。

标签与属性

价格

开源

特性

有 API 可自部署

支持模型

本地模型

平台

命令行 Linux Mac Windows

同类推荐

开发 SDK / 工具库

Transformers

★ 167,047

Hugging Face 出品的模型定义框架，统一文本、视觉、音频与多模态模型的推理与训练接口。

开源可自部署多模态通义千问本地模型

github.com3 处推荐

开发 SDK / 工具库

Diffusers

★ 34,689

Hugging Face 出品的扩散模型工具箱，支持图像、视频、音频生成与训练。

开源可自部署多模态本地模型Linux

github.com2 处推荐

开发 SDK / 工具库

AI SDK (Vercel AI)

★ 27,123

Vercel 出品的 TypeScript AI 开发工具包，统一接入多家模型，快速构建 AI 应用与 Agent。

开源有 APIClaudeGeminiGPT

ai-sdk.dev2 处推荐

本地部署 / 运行

vLLM

★ 93,170

高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。

开源有 API可自部署DeepSeek通义千问

github.com1 处推荐

Agent 开发框架

LangChain

★ 147,438

开源 Agent 工程框架，用可互操作组件与集成快速搭建 LLM 应用与智能体。

开源可自部署有 APIGPTClaude

github.com1 处推荐

开发 SDK / 工具库

YOLOv5

★ 58,108

Ultralytics 出品的 PyTorch 目标检测框架，支持检测、分割、分类与模型导出

开源可自部署本地模型命令行Linux

github.com1 处推荐