aiknow

本地部署 / 运行

共 94 个AI 用户与开发者推荐的本地部署 / 运行。

全部 API 与算力官方 API 平台 42API 中转站(服务) 17免费 API / 公益站 6推理云 / GPU 算力 31中转站源码 / 自建网关 88API 测速 / 真伪检测 12本地硬件 / 显存计算 23本地部署 / 运行 69

LM Studio

lmstudio.ai

本地运行开源大模型的桌面应用,内置 Bionic Agent 可写文档、做 PPT 和写代码。

免登录可自部署本地模型LinuxMacWindows
本地部署 / 运行 · 2 处推荐

一键把 PC/Mac/Linux 变成私有 AI 服务器的自托管部署系统,集成推理、聊天、RAG、工作流与图像生成。

开源有 API多模态可自部署本地模型桌面客户端
本地部署 / 运行 · 1 处推荐

Jan

jan.ai

开源 ChatGPT 替代品,可在本地运行开源模型或连接 GPT、Claude 等云端模型。

开源有 API可自部署ClaudeDeepSeekGemini
聊天客户端 · 3 处推荐

AirLLM

github.com★ 35,499

开源推理库,通过分层流式加载让 70B 大模型在单张 4GB 显卡上运行,无需量化或蒸馏。

开源可自部署DeepSeek通义千问Kimi本地模型
本地部署 / 运行 · 1 处推荐

SQLCoder

github.com★ 4,047

Defog 开源的自然语言转 SQL 大模型系列,在 sql-eval 上超越 GPT-4,支持本地部署。

开源可自部署本地模型命令行LinuxMac
开源模型 · 1 处推荐

MTPLX

github.com★ 2,528

在 Apple Silicon Mac 上本地运行大模型的推理引擎,用模型原生 MTP 投机解码加速,兼容 OpenAI 与 Anthropic 接口。

开源有 API可自部署本地模型通义千问命令行
本地部署 / 运行 · 1 处推荐

Unsloth

unsloth.ai

开源本地 AI 工作台,可在个人电脑上运行和微调大模型,支持文本、图像、视频与音频。

开源可自部署有 API多模态通义千问GLM / 智谱
训练与微调 / 量化 · 1 处推荐

LLM

llm.datasette.io

命令行工具与 Python 库,可调用 OpenAI、Claude、Gemini、Qwen 等远程及本地大模型

开源有 API可自部署多模态GPTClaude
本地部署 / 运行 · 1 处推荐

BitNet

github.com★ 40,373

微软开源的 1-bit LLM 官方推理框架,在 CPU/GPU 上实现快速无损的 1.58-bit 模型推理。

开源可自部署本地模型LinuxWindowsMac
本地部署 / 运行 · 2 处推荐

AnythingLLM

anythingllm.com

开源本地 AI 助手,支持文档知识库、会议转写与工作流,数据不出本机。

开源可自部署有 API本地模型MacWindows
知识库应用 · 1 处推荐

Jan

github.com★ 44,851

开源本地大模型客户端,可离线运行 Llama、Qwen 等模型,也能接入云端 API,注重隐私。

开源可自部署有 API支持 MCP通义千问GPT
聊天客户端 · 2 处推荐

WhisperLive

github.com★ 4,308

基于 OpenAI Whisper 的近实时语音转写服务,支持麦克风与音频文件,可自建服务器。

开源可自部署有 API本地模型LinuxMac
本地部署 / 运行 · 1 处推荐

ml-stable-diffusion

github.com★ 17,964

苹果官方开源项目,将 Stable Diffusion 转换为 Core ML 格式,在 Apple Silicon 设备上本地运行图像生成。

开源可自部署本地模型MaciOS桌面客户端
本地部署 / 运行 · 1 处推荐

apfel

github.com★ 6,454

利用 Mac 内置 Apple Intelligence 的本地 AI 工具,提供 CLI、OpenAI 兼容服务与交互式对话,无需 API Key。

开源有 API免登录可自部署本地模型命令行
本地部署 / 运行 · 1 处推荐

TTS WebUI

github.com★ 3,282

基于 Gradio + React 的本地语音与音频生成 WebUI,通过扩展集成数十种 TTS、音乐与音频模型。

开源可自部署本地模型网页WindowsLinux
本地部署 / 运行 · 1 处推荐

Petals

github.com★ 10,614

BitTorrent 式分布式运行大模型的开源项目,可在本地跑 Llama 405B 等超大模型并微调。

开源可自部署有 API本地模型LinuxMac
本地部署 / 运行 · 1 处推荐

WebLLM

webllm.mlc.ai

基于 WebGPU 的浏览器内大模型推理引擎,无需服务器即可在网页本地运行 LLM。

开源有 API免登录可自部署本地模型通义千问
本地部署 / 运行 · 1 处推荐

llmware

github.com★ 14,818

面向企业 RAG 的开源框架,内置 300+ 小模型目录与完整文档解析、知识库流水线,支持本地与边缘部署。

开源可自部署有 APIGPTClaudeGemini
RAG 框架 · 1 处推荐

GALACTICA

github.com★ 2,745

面向科学领域的开源大语言模型,可做文献引用预测、数学推理、分子与蛋白标注等科研任务。

开源可自部署有 API本地模型网页Linux
本地部署 / 运行 · 1 处推荐

Harbor

github.com★ 3,240

一条命令启动完整本地 LLM 栈,预配置 Ollama、Open WebUI、ComfyUI 等数百服务。

开源可自部署有 API本地模型命令行网页
本地部署 / 运行 · 2 处推荐

whisper-ctranslate2

github.com★ 1,359

基于 CTranslate2 的 Whisper 命令行客户端,兼容 OpenAI 原版 CLI,速度最高提升 4 倍且更省内存。

开源可自部署本地模型命令行LinuxMac
本地部署 / 运行 · 1 处推荐

PyGPT

pygpt.net

免费开源桌面 AI 助手,支持云端与本地模型,集成 Agent、RAG、MCP 与技能插件。

开源可自部署支持 MCP多模态有 APIGPT
聊天客户端 · 1 处推荐

Tabby

tabbyml.com

开源可自托管的 AI 编程助手,提供代码补全、问答与内联聊天,是 GitHub Copilot 的自托管替代方案。

开源有 API可自部署本地模型LinuxMac
编程插件 · 1 处推荐

SemIf (OpenJev)

github.com★ 4,743

用开源模型直接读取选项概率做语义 if 判断,替代生成文本再解析,可在本地 3090 或浏览器运行

开源有 API可自部署本地模型通义千问Linux
本地部署 / 运行 · 1 处推荐