Transformers.js

llama.cpp

纯 C/C++ 实现的 LLM 推理引擎，支持本地与云端多硬件高效运行大模型。

vLLM

★ 93,170

高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。

Ollama

★ 182,177

最流行的开源大模型本地运行工具，一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。

whisper.cpp

OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版，无依赖、可离线本地运行

textgen

开源本地大模型桌面应用，支持文本、视觉、工具调用，兼容 OpenAI/Anthropic API，完全离线隐私。

LocalAI

开源本地 AI 引擎，无需 GPU 即可在任意硬件上运行 LLM、视觉、语音、图像、视频模型，兼容 OpenAI API。