本地部署 / 运行

基于 OpenAI Whisper 的近实时语音转写服务，支持麦克风与音频文件，可自建服务器。

开源本地大模型客户端，可离线运行 Llama、Qwen 等模型，也能接入云端 API，注重隐私。

苹果官方开源项目，将 Stable Diffusion 转换为 Core ML 格式，在 Apple Silicon 设备上本地运行图像生成。

基于 Gradio + React 的本地语音与音频生成 WebUI，通过扩展集成数十种 TTS、音乐与音频模型。

BitTorrent 式分布式运行大模型的开源项目，可在本地跑 Llama 405B 等超大模型并微调。

基于 WebGPU 的浏览器内大模型推理引擎，无需服务器即可在网页本地运行 LLM。

面向企业 RAG 的开源框架，内置 300+ 小模型目录与完整文档解析、知识库流水线，支持本地与边缘部署。

面向科学领域的开源大语言模型，可做文献引用预测、数学推理、分子与蛋白标注等科研任务。

一条命令启动完整本地 LLM 栈，预配置 Ollama、Open WebUI、ComfyUI 等数百服务。

基于 CTranslate2 的 Whisper 命令行客户端，兼容 OpenAI 原版 CLI，速度最高提升 4 倍且更省内存。

免费开源桌面 AI 助手，支持云端与本地模型，集成 Agent、RAG、MCP 与技能插件。

手机与 Mac 上的离线 AI 套件，支持 GGUF 大模型、视觉、语音转写、Stable Diffusion 与工具调用，数据不出设备。

面向 Apple Silicon 的开源本地 LLM 推理服务器与 Mac 应用，兼容 OpenAI/Anthropic API，主打编程 Agent 的可靠工具调用。

面向个人与团队的私有 AI 工作台，支持本地与在线模型、工作区、Agent 和知识库。

开源项目，将大语言模型移植到 Apple 神经引擎（ANE）上加速本地推理

开源本地代码补全引擎，基于大模型在 CPU 上运行，是自托管 Copilot 替代方案。