aiknow

本地部署 / 运行

共 94 个AI 用户与开发者推荐的本地部署 / 运行。

全部 API 与算力官方 API 平台 42API 中转站(服务) 17免费 API / 公益站 6推理云 / GPU 算力 31中转站源码 / 自建网关 88API 测速 / 真伪检测 12本地硬件 / 显存计算 23本地部署 / 运行 69

llama.cpp

github.com★ 130,655

纯 C/C++ 实现的 LLM 推理引擎,支持本地与云端多硬件高效运行大模型。

开源可自部署有 API多模态通义千问本地模型
本地部署 / 运行 · 3 处推荐

vLLM

github.com★ 93,170

高吞吐、省显存的开源 LLM 推理与服务引擎,支持 PagedAttention 与 OpenAI 兼容 API。

开源有 API可自部署DeepSeek通义千问Kimi
本地部署 / 运行 · 1 处推荐

Ollama

ollama.com★ 182,177

最流行的开源大模型本地运行工具,一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。

开源可自部署有 API通义千问DeepSeekGLM / 智谱
本地部署 / 运行 · 3 处推荐

whisper.cpp

github.com★ 54,217

OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版,无依赖、可离线本地运行

开源可自部署本地模型MacWindowsLinux
本地部署 / 运行 · 2 处推荐

textgen

github.com★ 47,726

开源本地大模型桌面应用,支持文本、视觉、工具调用,兼容 OpenAI/Anthropic API,完全离线隐私。

开源可自部署有 API支持 MCP多模态免登录
聊天客户端 · 1 处推荐

vLLM

docs.vllm.ai

高效易用的开源 LLM 推理与服务库,支持 PagedAttention 和连续批处理,吞吐量领先。

开源可自部署有 API通义千问本地模型Linux
本地部署 / 运行 · 1 处推荐

Transformers.js

github.com★ 16,339

Hugging Face 官方 JS 库,让 Transformers 模型直接在浏览器里运行,无需服务器。

开源多模态可自部署本地模型网页
本地部署 / 运行 · 1 处推荐

LocalAI

github.com★ 49,428

开源本地 AI 引擎,无需 GPU 即可在任意硬件上运行 LLM、视觉、语音、图像、视频模型,兼容 OpenAI API。

开源有 API可自部署支持 MCP多模态本地模型
本地部署 / 运行 · 1 处推荐

GPT4All

github.com★ 77,388

开源本地大模型运行工具,无需 GPU 和联网即可在普通电脑上私密运行 LLM。

开源可自部署免登录有 APIDeepSeek本地模型
聊天客户端 · 2 处推荐

HAMi

github.com★ 4,707

Kubernetes 上的异构 GPU 虚拟化与共享调度中间件,支持显存/算力切分与多厂商加速卡统一管理。

开源可自部署Linux
本地部署 / 运行 · 1 处推荐

Vosk

github.com★ 15,167

开源离线语音识别工具包,支持 20 多种语言,模型仅约 50MB,可流式实时转写。

开源可自部署有 API本地模型LinuxWindows
本地部署 / 运行 · 1 处推荐

LLM

github.com★ 12,592

Simon Willison 开发的命令行工具与 Python 库,可在终端调用各家大模型并本地运行。

开源有 API可自部署多模态GPTClaude
本地部署 / 运行 · 1 处推荐

FLUX

github.com★ 26,009

Black Forest Labs 开源的 FLUX.1 文生图与图像编辑模型官方推理代码库

开源可自部署有 API多模态本地模型Linux
本地部署 / 运行 · 1 处推荐

RWKV-LM

github.com★ 14,743

RWKV 是兼具 RNN 与 Transformer 优势的开源大模型架构,线性时间、无 KV 缓存、支持无限上下文。

开源可自部署多模态本地模型LinuxWindows
开源模型 · 1 处推荐

sherpa-onnx

github.com★ 15,163

基于新一代 Kaldi 与 onnxruntime 的离线语音工具库,支持识别、合成、说话人分离等,跨平台多语言。

开源可自部署本地模型LinuxMacWindows
本地部署 / 运行 · 1 处推荐

Xinference

github.com★ 9,600

一站式模型推理部署框架,一条命令即可在云端、本地或笔记本上运行开源、语音与多模态模型,提供统一 API。

开源有 API中文界面多模态可自部署GLM / 智谱
本地部署 / 运行 · 1 处推荐

oMLX

github.com★ 22,603

面向 Apple Silicon 的本地 LLM 推理服务器,支持连续批处理与 SSD 分层 KV 缓存,可从 macOS 菜单栏管理。

开源有 API可自部署本地模型命令行桌面客户端
本地部署 / 运行 · 1 处推荐

Unsloth

github.com★ 77,432

本地运行与微调大模型和扩散模型的开源工具,显存占用低、训练速度快,支持 GGUF、MLX 等格式。

开源可自部署有 API多模态支持 MCP通义千问
训练与微调 / 量化 · 2 处推荐

DeepInfer

github.com★ 8,988

DeepSeek 开源的大规模推理框架,支撑其生产服务,含优化算子与并行调度。

开源可自部署DeepSeek本地模型Linux
本地部署 / 运行 · 1 处推荐

MLX LM

github.com★ 7,538

苹果 MLX 框架的 Python 包,可在 Apple 芯片上运行和微调大模型。

开源可自部署本地模型Mac命令行
本地部署 / 运行 · 1 处推荐

WebLLM

github.com★ 19,244

基于 WebGPU 的浏览器内 LLM 推理引擎,无需服务器即可在网页本地运行大模型,兼容 OpenAI API。

开源有 API可自部署免登录通义千问本地模型
本地部署 / 运行 · 1 处推荐

DeepSpeed-MII

github.com★ 2,114

微软 DeepSpeed 推出的开源推理库,实现低延迟、高吞吐的大模型部署,支持连续批处理与张量并行。

开源可自部署有 API本地模型Linux命令行
本地部署 / 运行 · 1 处推荐

SGLang

github.com★ 36,854

高性能大模型与多模态模型推理服务框架,支持 Agent、RL 与大规模部署。

开源可自部署多模态有 API本地模型Linux
本地部署 / 运行 · 1 处推荐

Strata

github.com★ 16,461

开源本地推理引擎,一键在消费级显卡上运行 125B 大模型,提供 OpenAI/Anthropic 兼容 API。

开源有 API多模态可自部署本地模型通义千问
本地部署 / 运行 · 1 处推荐