DeepSpeed-Inference

github.com

微软开源的大模型推理优化库，提供张量并行、量化与低延迟推理加速。

开源可自部署本地模型LinuxWindows

被推荐 1 次

访问网站 ↗

适合做什么

适合需要自建大模型推理服务的开发者与团队，用于降低延迟、提升吞吐与显存效率。

标签与属性

价格

特性

支持模型

平台

同类推荐

开发 SDK / 工具库

Transformers

Hugging Face 出品的模型定义框架，统一文本、视觉、音频与多模态模型的推理与训练接口。

开源可自部署多模态通义千问本地模型

github.com1 处推荐

本地部署 / 运行

vLLM

★ 93,170

高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。

开源有 API可自部署DeepSeek通义千问

github.com1 处推荐

Agent 开发框架

LangChain

★ 147,438

开源 Agent 工程框架，用可互操作组件与集成快速搭建 LLM 应用与智能体。

开源可自部署有 APIGPTClaude

github.com1 处推荐

开发 SDK / 工具库

Diffusers

Hugging Face 出品的扩散模型工具箱，支持图像、视频、音频生成与训练。

开源可自部署多模态本地模型Linux

github.com1 处推荐

开发 SDK / 工具库

AI SDK (Vercel AI)

★ 27,123

Vercel 出品的 TypeScript AI 开发工具包，统一接入多家模型，快速构建 AI 应用与 Agent。

开源有 APIClaudeGeminiGPT

github.com1 处推荐

开发 SDK / 工具库

YOLOv5

★ 58,108

Ultralytics 出品的 PyTorch 目标检测框架，支持检测、分割、分类与模型导出

开源可自部署本地模型命令行Linux

github.com1 处推荐