本地部署 / 运行
共 94 个AI 用户与开发者推荐的本地部署 / 运行。
手机与 Mac 上的离线 AI 套件,支持 GGUF 大模型、视觉、语音转写、Stable Diffusion 与工具调用,数据不出设备。
DwarfStar 4 (ds4)
dwarfstar.shantirez 用 C 写的本地推理引擎,支持 DeepSeek V4/V4.1、Qwen3.8、GLM 5.x,含 CLI、本地 API 与 Agent。
跨平台本地 LLM 推理引擎,支持多语言绑定、多模态与语音合成识别,完全离线运行。
面向 Apple Silicon 的开源本地 LLM 推理服务器与 Mac 应用,兼容 OpenAI/Anthropic API,主打编程 Agent 的可靠工具调用。
DeepSeek 开源的 Agent 运行框架,采用一切皆插件的架构,基于 Cordis 构建,支持 Web UI 本地运行。
基于 ggml 的 C++ 语音工具,集语音合成、识别与 VAD 于一体,支持 Metal/Vulkan/CPU,兼容 OpenAI 音频 API。
在 12GB 显卡上跑满 262k 上下文的本地大模型部署方案,含 llama.cpp 补丁与 Windows 整合包。
SenseCraft
sensecraft.seeed.ccSeeed Studio 推出的零代码边缘 AI 平台,支持视觉模型部署到 ESP32 等设备,并管理 IoT 与机器人。
在 3–4 台 NVIDIA DGX Spark 上部署 DeepSeek-V4.1-Flash 的开源方案,支持 1M 上下文与工具调用。
SpeqAI Local Stack
tools.speqai.com收录 52 个支持 Intel Arc 与核显的本地 AI 工具清单,含硬件兼容、API、星标与许可证信息。
YuE2 音乐生成模型的推理加速与服务层,单曲快 1.68 倍,单卡并发吞吐提升 3.31 倍
在单张 24GB RTX 3090 上跑 GLM-5.3-Flash 的显存卸载方案,用内存与 NVMe 存放专家,提供 OpenAI 兼容 API。
Decider for Mac
docs.perplexity.aiPerplexity 推出的 Mac 桌面应用,可在本地运行 4B 决策模型,无需 API key 即可调用 Decisions API。
Inferencer
inferencer.com本地运行大模型的桌面工具,支持 token 概率检查、MoE 专家控制、局域网私有服务与分布式推理。
LLM Connect
play.google.comAndroid 端离线 AI 运行器,支持本地 GGUF/LiteRT 模型、多云端 API、RAG 与工具调用,并可硬件基准测试。
PostgreSQL 扩展,用自然语言条件过滤、排序和分类表数据,由 TypeSafe Jev 模型返回概率判断
BAIRAVS Orch Engine
tech.bairavs.com开源框架,可在自有基础设施上运行开放模型、MCP 工具与智能体,内置 DLP 数据防泄漏代理。
在 12GB 显存上跑 Qwen3.8-27B 的 llama.cpp 服务层,支持 262k 上下文与 MTP 投机解码
在两块 16GB 消费级显卡上运行 Qwen3.8-Flash-Next MoE 的本地推理引擎,专家卸载到 CPU。
Foundry Local
foundrylocal.ai微软推出的本地 AI 推理运行时与 SDK,支持离线运行模型,兼容 OpenAI API,无需 Azure 订阅。