本地部署 / 运行
共 94 个AI 用户与开发者推荐的本地部署 / 运行。
LM Studio
lmstudio.ai本地运行开源大模型的桌面应用,内置 Bionic Agent 可写文档、做 PPT 和写代码。
一键把 PC/Mac/Linux 变成私有 AI 服务器的自托管部署系统,集成推理、聊天、RAG、工作流与图像生成。
开源推理库,通过分层流式加载让 70B 大模型在单张 4GB 显卡上运行,无需量化或蒸馏。
Defog 开源的自然语言转 SQL 大模型系列,在 sql-eval 上超越 GPT-4,支持本地部署。
在 Apple Silicon Mac 上本地运行大模型的推理引擎,用模型原生 MTP 投机解码加速,兼容 OpenAI 与 Anthropic 接口。
Unsloth
unsloth.ai开源本地 AI 工作台,可在个人电脑上运行和微调大模型,支持文本、图像、视频与音频。
LLM
llm.datasette.io命令行工具与 Python 库,可调用 OpenAI、Claude、Gemini、Qwen 等远程及本地大模型
微软开源的 1-bit LLM 官方推理框架,在 CPU/GPU 上实现快速无损的 1.58-bit 模型推理。
开源本地大模型客户端,可离线运行 Llama、Qwen 等模型,也能接入云端 API,注重隐私。
基于 OpenAI Whisper 的近实时语音转写服务,支持麦克风与音频文件,可自建服务器。
苹果官方开源项目,将 Stable Diffusion 转换为 Core ML 格式,在 Apple Silicon 设备上本地运行图像生成。
利用 Mac 内置 Apple Intelligence 的本地 AI 工具,提供 CLI、OpenAI 兼容服务与交互式对话,无需 API Key。
基于 Gradio + React 的本地语音与音频生成 WebUI,通过扩展集成数十种 TTS、音乐与音频模型。
BitTorrent 式分布式运行大模型的开源项目,可在本地跑 Llama 405B 等超大模型并微调。
WebLLM
webllm.mlc.ai基于 WebGPU 的浏览器内大模型推理引擎,无需服务器即可在网页本地运行 LLM。
面向企业 RAG 的开源框架,内置 300+ 小模型目录与完整文档解析、知识库流水线,支持本地与边缘部署。
面向科学领域的开源大语言模型,可做文献引用预测、数学推理、分子与蛋白标注等科研任务。
一条命令启动完整本地 LLM 栈,预配置 Ollama、Open WebUI、ComfyUI 等数百服务。
基于 CTranslate2 的 Whisper 命令行客户端,兼容 OpenAI 原版 CLI,速度最高提升 4 倍且更省内存。
Tabby
tabbyml.com开源可自托管的 AI 编程助手,提供代码补全、问答与内联聊天,是 GitHub Copilot 的自托管替代方案。
用开源模型直接读取选项概率做语义 if 判断,替代生成文本再解析,可在本地 3090 或浏览器运行