aiknow

本地部署 / 运行

共 94 个AI 用户与开发者推荐的本地部署 / 运行。

全部 API 与算力官方 API 平台 42API 中转站(服务) 17免费 API / 公益站 6推理云 / GPU 算力 31中转站源码 / 自建网关 88API 测速 / 真伪检测 12本地硬件 / 显存计算 23本地部署 / 运行 69

Off Grid AI (OGAM)

github.com★ 3,215

手机与 Mac 上的离线 AI 套件,支持 GGUF 大模型、视觉、语音转写、Stable Diffusion 与工具调用,数据不出设备。

免费+付费可自部署多模态免登录通义千问本地模型
聊天客户端 · 1 处推荐

DwarfStar 4 (ds4)

dwarfstar.sh

antirez 用 C 写的本地推理引擎,支持 DeepSeek V4/V4.1、Qwen3.8、GLM 5.x,含 CLI、本地 API 与 Agent。

开源有 API多模态可自部署DeepSeekGLM / 智谱
本地部署 / 运行 · 1 处推荐

NobodyWho

github.com★ 1,527

跨平台本地 LLM 推理引擎,支持多语言绑定、多模态与语音合成识别,完全离线运行。

开源多模态可自部署本地模型Android桌面客户端
本地部署 / 运行 · 1 处推荐

Rapid-MLX

github.com★ 3,940

面向 Apple Silicon 的开源本地 LLM 推理服务器与 Mac 应用,兼容 OpenAI/Anthropic API,主打编程 Agent 的可靠工具调用。

开源有 API可自部署通义千问DeepSeek本地模型
本地部署 / 运行 · 1 处推荐

DeepSeek Harness

github.com★ 245,514

DeepSeek 开源的 Agent 运行框架,采用一切皆插件的架构,基于 Cordis 构建,支持 Web UI 本地运行。

开源可自部署有 APIDeepSeek网页命令行
桌面 Agent 客户端 · 1 处推荐

speech.cpp

github.com★ 89

基于 ggml 的 C++ 语音工具,集语音合成、识别与 VAD 于一体,支持 Metal/Vulkan/CPU,兼容 OpenAI 音频 API。

开源有 API可自部署本地模型通义千问命令行
语音合成 / 识别 · 1 处推荐

在 12GB 显卡上跑满 262k 上下文的本地大模型部署方案,含 llama.cpp 补丁与 Windows 整合包。

可自部署本地模型命令行LinuxWindows
本地部署 / 运行 · 1 处推荐

SenseCraft

sensecraft.seeed.cc

Seeed Studio 推出的零代码边缘 AI 平台,支持视觉模型部署到 ESP32 等设备,并管理 IoT 与机器人。

可自部署本地模型网页
AI 硬件 / 智能终端 · 1 处推荐

在 3–4 台 NVIDIA DGX Spark 上部署 DeepSeek-V4.1-Flash 的开源方案,支持 1M 上下文与工具调用。

开源有 API多模态可自部署DeepSeek本地模型
本地部署 / 运行 · 1 处推荐

SpeqAI Local Stack

tools.speqai.com

收录 52 个支持 Intel Arc 与核显的本地 AI 工具清单,含硬件兼容、API、星标与许可证信息。

开源可自部署本地模型网页
本地部署 / 运行 · 1 处推荐

YuE2-Turbo

github.com★ 82

YuE2 音乐生成模型的推理加速与服务层,单曲快 1.68 倍,单卡并发吞吐提升 3.31 倍

开源有 API可自部署本地模型Linux网页
AI 音乐 · 1 处推荐

glm53-flash-offload

github.com★ 155

在单张 24GB RTX 3090 上跑 GLM-5.3-Flash 的显存卸载方案,用内存与 NVMe 存放专家,提供 OpenAI 兼容 API。

开源有 API可自部署GLM / 智谱本地模型命令行
本地部署 / 运行 · 1 处推荐

Decider for Mac

docs.perplexity.ai

Perplexity 推出的 Mac 桌面应用,可在本地运行 4B 决策模型,无需 API key 即可调用 Decisions API。

免费可自部署多模态免登录本地模型Mac
本地部署 / 运行 · 1 处推荐

Inferencer

inferencer.com

本地运行大模型的桌面工具,支持 token 概率检查、MoE 专家控制、局域网私有服务与分布式推理。

有 API免登录可自部署本地模型桌面客户端iOS
本地部署 / 运行 · 1 处推荐

gutsy

github.com★ 46

本地决策模型,支持概率化问答,0.8B 参数在 CPU 上运行,无需联网。

开源可自部署免登录本地模型网页命令行
开源模型 · 1 处推荐

LLM Connect

play.google.com

Android 端离线 AI 运行器,支持本地 GGUF/LiteRT 模型、多云端 API、RAG 与工具调用,并可硬件基准测试。

有 API多模态本地模型GPTClaudeGemini
本地部署 / 运行 · 1 处推荐

Msty

msty.ai

面向个人与团队的私有 AI 工作台,支持本地与在线模型、工作区、Agent 和知识库。

可自部署ClaudeGPT本地模型LinuxMac
聊天客户端 · 1 处推荐

pg-jev

github.com★ 1,064

PostgreSQL 扩展,用自然语言条件过滤、排序和分类表数据,由 TypeSafe Jev 模型返回概率判断

有 API可自部署LinuxMacWindows
本地部署 / 运行 · 1 处推荐

BAIRAVS Orch Engine

tech.bairavs.com

开源框架,可在自有基础设施上运行开放模型、MCP 工具与智能体,内置 DLP 数据防泄漏代理。

开源可自部署有 API支持 MCP本地模型命令行
Agent 开发框架 · 1 处推荐

ANEMLL

github.com★ 1,684

开源项目,将大语言模型移植到 Apple 神经引擎(ANE)上加速本地推理

可自部署本地模型通义千问命令行iOSMac
本地部署 / 运行 · 1 处推荐

Mirai S Ada

github.com★ 83

在 12GB 显存上跑 Qwen3.8-27B 的 llama.cpp 服务层,支持 262k 上下文与 MTP 投机解码

可自部署本地模型通义千问命令行Linux
本地部署 / 运行 · 1 处推荐

capy-flash

github.com★ 44

在两块 16GB 消费级显卡上运行 Qwen3.8-Flash-Next MoE 的本地推理引擎,专家卸载到 CPU。

开源有 API可自部署本地模型通义千问命令行
本地部署 / 运行 · 1 处推荐

Foundry Local

foundrylocal.ai

微软推出的本地 AI 推理运行时与 SDK,支持离线运行模型,兼容 OpenAI API,无需 Azure 订阅。

免费有 API可自部署本地模型WindowsMac
本地部署 / 运行 · 1 处推荐

Ollaya

ollaya.dev★ 1,254

本地运行开源决策模型,毫秒级响应,私密且开源。

开源有 API免登录可自部署本地模型命令行
本地部署 / 运行 · 2 处推荐