本地部署 / 运行

纯 C/C++ 实现的 LLM 推理引擎，支持本地与云端多硬件高效运行大模型。

高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。

最流行的开源大模型本地运行工具，一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。

OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版，无依赖、可离线本地运行

开源本地大模型桌面应用，支持文本、视觉、工具调用，兼容 OpenAI/Anthropic API，完全离线隐私。

Hugging Face 官方 JS 库，让 Transformers 模型直接在浏览器里运行，无需服务器。

开源本地 AI 引擎，无需 GPU 即可在任意硬件上运行 LLM、视觉、语音、图像、视频模型，兼容 OpenAI API。

开源本地大模型运行工具，无需 GPU 和联网即可在普通电脑上私密运行 LLM。

开源离线语音识别工具包，支持 20 多种语言，模型仅约 50MB，可流式实时转写。

Simon Willison 开发的命令行工具与 Python 库，可在终端调用各家大模型并本地运行。

Black Forest Labs 开源的 FLUX.1 文生图与图像编辑模型官方推理代码库

RWKV 是兼具 RNN 与 Transformer 优势的开源大模型架构，线性时间、无 KV 缓存、支持无限上下文。

基于新一代 Kaldi 与 onnxruntime 的离线语音工具库，支持识别、合成、说话人分离等，跨平台多语言。

本地运行与微调大模型和扩散模型的开源工具，显存占用低、训练速度快，支持 GGUF、MLX 等格式。

开源本地私有聊天工具，支持文档问答、图像视频理解与语音，兼容多种开源模型。

基于 WebGPU 的浏览器内 LLM 推理引擎，无需服务器即可在网页本地运行大模型，兼容 OpenAI API。

高性能大模型与多模态模型推理服务框架，支持 Agent、RL 与大规模部署。

本地运行开源大模型的桌面应用，内置 Bionic Agent 可写文档、做 PPT 和写代码。

开源 ChatGPT 替代品，可在本地运行开源模型或连接 GPT、Claude 等云端模型。

开源推理库，通过分层流式加载让 70B 大模型在单张 4GB 显卡上运行，无需量化或蒸馏。

开源本地 AI 工作台，可在个人电脑上运行和微调大模型，支持文本、图像、视频与音频。

命令行工具与 Python 库，可调用 OpenAI、Claude、Gemini、Qwen 等远程及本地大模型

微软开源的 1-bit LLM 官方推理框架，在 CPU/GPU 上实现快速无损的 1.58-bit 模型推理。

开源本地 AI 助手，支持文档知识库、会议转写与工作流，数据不出本机。