aiknow

本地部署 / 运行

共 94 个AI 用户与开发者推荐的本地部署 / 运行。

全部 API 与算力官方 API 平台 42API 中转站(服务) 17免费 API / 公益站 6推理云 / GPU 算力 31中转站源码 / 自建网关 88API 测速 / 真伪检测 12本地硬件 / 显存计算 23本地部署 / 运行 69

在 Mac 上把 Apple 端侧模型与 MLX 模型聚合成 OpenAI 兼容 API 的本地服务与 CLI

开源有 API可自部署本地模型命令行Mac
本地部署 / 运行 · 1 处推荐

在 A100 上运行 DeepSeek-V4.1-Flash 的自定义推理运行时,支持百万 token 预填充与前缀复用。

可自部署DeepSeek本地模型Linux
本地部署 / 运行 · 1 处推荐

Lithos Metal

github.com★ 87

面向 Apple 芯片的开源 LLM 推理引擎,生成 Metal megakernel,支持本地低延迟推理与编码 Agent 服务。

开源有 API可自部署本地模型通义千问命令行
本地部署 / 运行 · 1 处推荐

Neywa Labs

neywalabs.ai

为 Apple Silicon 打造本地 AI 基础设施,支持 5000+ 开源模型离线运行与 Agent 连接。

可自部署本地模型Mac
本地部署 / 运行 · 1 处推荐

Hob

hob.chat★ 254

免费开源的本地 AI 桌面助手,自动适配电脑运行 Gemma 等开源模型,可离线使用,注重隐私。

开源支持 MCP免登录可自部署本地模型桌面客户端
聊天客户端 · 2 处推荐

FastFlowLM

fastflowlm.com

专为 AMD Ryzen AI NPU 优化的轻量级大模型推理运行时,支持快速部署与本地私密运行。

多模态免登录可自部署DeepSeek通义千问命令行
本地部署 / 运行 · 1 处推荐

Locally AI

locallyai.app

在 iPhone、iPad、Mac 上本地离线运行 Llama、Gemma、Qwen、DeepSeek 等大模型的 App,针对 Apple Silicon 优化。

免登录DeepSeek本地模型通义千问iOSMac
本地部署 / 运行 · 1 处推荐

Janus

github.com★ 129

本地运行大模型的 Go 编写 API 路由器,支持 Vulkan 加速与 OpenAI 兼容接口。

开源有 API免登录可自部署本地模型命令行
本地部署 / 运行 · 1 处推荐

vegaml

github.com★ 133

基于冻结语言模型与物理引擎的确定性决策库,输出校准概率、共形集与弃权标志,支持 73k 上下文与图像。

开源多模态可自部署本地模型LinuxMac
本地部署 / 运行 · 1 处推荐

EdgeJev

github.com★ 18

把 Jev/System One 类型化决策模型导出 ONNX 并 INT8 量化,4 核 CPU 单题 15.6ms,全程离线运行。

有 API可自部署本地模型命令行LinuxMac
本地部署 / 运行 · 1 处推荐

drive-orin-ai-station

github.com★ 3

把 NVIDIA DRIVE AGX Orin 车规智驾域控改造成完全离线运行的本地 AI 工作站方案

开源中文界面可自部署本地模型通义千问Linux
本地部署 / 运行 · 1 处推荐

高通官方端侧 AI 平台,提供优化模型库,可在真实高通设备上验证性能。

本地模型
本地部署 / 运行 · 1 处推荐

DeepSeek Harness 的本地桌面管理器,可管理版本、启动 Web/桌面端、配置与插件并排查启动故障

开源中文界面可自部署DeepSeek本地模型桌面客户端
本地部署 / 运行 · 1 处推荐

FreeToken

flashml.ai

FlashML 推出的本地大模型运行时与桌面客户端,可在个人电脑离线运行 290B 级开源模型。

免费可自部署DeepSeek通义千问GLM / 智谱本地模型
本地部署 / 运行 · 1 处推荐

moe-on-a-desk

github.com★ 11

在单台消费级 Mac Studio 上不降量化跑 125B MoE 大模型的 llama.cpp 优化补丁与实测记录

可自部署本地模型命令行Mac
本地部署 / 运行 · 1 处推荐

EAGLE

eagle.ai

EAGLE 是领先的推测解码技术,通过外推 LLM 上下文特征向量大幅提升推理速度,已迭代至 EAGLE-4。

Linux
本地部署 / 运行 · 1 处推荐

Own 1

ownx.co

AI 原生个人电脑,本地运行大模型、Agent 与私有记忆,强调隐私与本地智能。

付费可自部署本地模型桌面客户端
本地硬件 / 显存计算 · 1 处推荐

Veldris

veldris.io

主权 AI 与数据运行环境,开源、后量子加密、可气隙部署于自有硬件。

开源可自部署本地模型Linux网页
AI 安全 / 护栏 · 1 处推荐

Strata

github.com★ 8

开源本地推理引擎,让消费级显卡一键跑通 Qwen3.8-Flash-Next 大模型,并提供本地 OpenAI/Anthropic API。

开源有 API多模态可自部署本地模型通义千问
本地部署 / 运行 · 1 处推荐

Logilocky AI Linux

sourceforge.net

基于 Debian 的 Linux 发行版,主打离线运行大模型与 AI 开发环境,对新手友好。

可自部署本地模型Linux桌面客户端
本地部署 / 运行 · 1 处推荐

迅宝 XunMuse

runxun.com

润迅推出的 macOS 本地 AI 管家公测版,需 Docker 与自有模型密钥,数据本地处理。

可自部署中文界面本地模型Mac
聊天客户端 · 1 处推荐

Tracel

tracel.ai

Tracel 是构建在自有算力之上的统一 AI 栈,用于构建、运行、管理和交付模型。

可自部署本地模型网页
应用评测与监控 · 1 处推荐