本地部署 / 运行
共 94 个AI 用户与开发者推荐的本地部署 / 运行。
纯 C/C++ 实现的 LLM 推理引擎,支持本地与云端多硬件高效运行大模型。
高吞吐、省显存的开源 LLM 推理与服务引擎,支持 PagedAttention 与 OpenAI 兼容 API。
最流行的开源大模型本地运行工具,一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。
OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版,无依赖、可离线本地运行
开源本地大模型桌面应用,支持文本、视觉、工具调用,兼容 OpenAI/Anthropic API,完全离线隐私。
vLLM
docs.vllm.ai高效易用的开源 LLM 推理与服务库,支持 PagedAttention 和连续批处理,吞吐量领先。
Hugging Face 官方 JS 库,让 Transformers 模型直接在浏览器里运行,无需服务器。
开源本地 AI 引擎,无需 GPU 即可在任意硬件上运行 LLM、视觉、语音、图像、视频模型,兼容 OpenAI API。
开源本地大模型运行工具,无需 GPU 和联网即可在普通电脑上私密运行 LLM。
Kubernetes 上的异构 GPU 虚拟化与共享调度中间件,支持显存/算力切分与多厂商加速卡统一管理。
开源离线语音识别工具包,支持 20 多种语言,模型仅约 50MB,可流式实时转写。
Simon Willison 开发的命令行工具与 Python 库,可在终端调用各家大模型并本地运行。
Black Forest Labs 开源的 FLUX.1 文生图与图像编辑模型官方推理代码库
RWKV 是兼具 RNN 与 Transformer 优势的开源大模型架构,线性时间、无 KV 缓存、支持无限上下文。
基于新一代 Kaldi 与 onnxruntime 的离线语音工具库,支持识别、合成、说话人分离等,跨平台多语言。
一站式模型推理部署框架,一条命令即可在云端、本地或笔记本上运行开源、语音与多模态模型,提供统一 API。
面向 Apple Silicon 的本地 LLM 推理服务器,支持连续批处理与 SSD 分层 KV 缓存,可从 macOS 菜单栏管理。
本地运行与微调大模型和扩散模型的开源工具,显存占用低、训练速度快,支持 GGUF、MLX 等格式。
DeepSeek 开源的大规模推理框架,支撑其生产服务,含优化算子与并行调度。
基于 WebGPU 的浏览器内 LLM 推理引擎,无需服务器即可在网页本地运行大模型,兼容 OpenAI API。
微软 DeepSpeed 推出的开源推理库,实现低延迟、高吞吐的大模型部署,支持连续批处理与张量并行。
高性能大模型与多模态模型推理服务框架,支持 Agent、RL 与大规模部署。
开源本地推理引擎,一键在消费级显卡上运行 125B 大模型,提供 OpenAI/Anthropic 兼容 API。