OpenVINO

github.com

Intel 开源 AI 推理优化与部署工具包，支持多框架模型在 CPU/GPU/NPU 上高效运行。

开源多模态可自部署本地模型命令行Linux

被推荐 1 次

访问网站 ↗

适合做什么

适合需要在 Intel 硬件上部署和加速深度学习模型的开发者，覆盖边缘到云端场景。

标签与属性

价格

开源

特性

多模态可自部署

支持模型

本地模型

平台

命令行 Linux Mac Windows

同类推荐

开发 SDK / 工具库

Transformers

Hugging Face 出品的模型定义框架，统一文本、视觉、音频与多模态模型的推理与训练接口。

开源可自部署多模态通义千问本地模型

github.com1 处推荐

本地部署 / 运行

vLLM

★ 93,170

高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。

开源有 API可自部署DeepSeek通义千问

github.com1 处推荐

Agent 开发框架

LangChain

★ 147,438

开源 Agent 工程框架，用可互操作组件与集成快速搭建 LLM 应用与智能体。

开源可自部署有 APIGPTClaude

github.com1 处推荐

开发 SDK / 工具库

Diffusers

Hugging Face 出品的扩散模型工具箱，支持图像、视频、音频生成与训练。

开源可自部署多模态本地模型Linux

github.com1 处推荐

应用评测与监控

MLflow

开源 AI 工程平台，支持 LLM 与 ML 模型的追踪、评估、监控与部署。

开源可自部署有 API支持 MCPGPT

github.com1 处推荐

开发 SDK / 工具库

Ray

分布式 AI 计算引擎，用统一框架把 Python 与 AI 应用从单机扩展到集群。

开源可自部署有 APILinuxMac

github.com1 处推荐