本地部署 / 运行
共 94 个AI 用户与开发者推荐的本地部署 / 运行。
在 Mac 上把 Apple 端侧模型与 MLX 模型聚合成 OpenAI 兼容 API 的本地服务与 CLI
在 A100 上运行 DeepSeek-V4.1-Flash 的自定义推理运行时,支持百万 token 预填充与前缀复用。
面向 Apple 芯片的开源 LLM 推理引擎,生成 Metal megakernel,支持本地低延迟推理与编码 Agent 服务。
Neywa Labs
neywalabs.ai为 Apple Silicon 打造本地 AI 基础设施,支持 5000+ 开源模型离线运行与 Agent 连接。
免费开源的本地 AI 桌面助手,自动适配电脑运行 Gemma 等开源模型,可离线使用,注重隐私。
FastFlowLM
fastflowlm.com专为 AMD Ryzen AI NPU 优化的轻量级大模型推理运行时,支持快速部署与本地私密运行。
Locally AI
locallyai.app在 iPhone、iPad、Mac 上本地离线运行 Llama、Gemma、Qwen、DeepSeek 等大模型的 App,针对 Apple Silicon 优化。
本地运行大模型的 Go 编写 API 路由器,支持 Vulkan 加速与 OpenAI 兼容接口。
基于冻结语言模型与物理引擎的确定性决策库,输出校准概率、共形集与弃权标志,支持 73k 上下文与图像。
把 Jev/System One 类型化决策模型导出 ONNX 并 INT8 量化,4 核 CPU 单题 15.6ms,全程离线运行。
把 NVIDIA DRIVE AGX Orin 车规智驾域控改造成完全离线运行的本地 AI 工作站方案
DeepSeek Harness 的本地桌面管理器,可管理版本、启动 Web/桌面端、配置与插件并排查启动故障
FreeToken
flashml.aiFlashML 推出的本地大模型运行时与桌面客户端,可在个人电脑离线运行 290B 级开源模型。
在单台消费级 Mac Studio 上不降量化跑 125B MoE 大模型的 llama.cpp 优化补丁与实测记录
开源本地推理引擎,让消费级显卡一键跑通 Qwen3.8-Flash-Next 大模型,并提供本地 OpenAI/Anthropic API。
Logilocky AI Linux
sourceforge.net基于 Debian 的 Linux 发行版,主打离线运行大模型与 AI 开发环境,对新手友好。