适合做什么
适合想在本地或自有硬件上低成本运行大模型、搭建私有推理服务的开发者。
标签与属性
谁在推荐
llama.cpp - Inference of Meta's LLaMA model (and others) in pure C/C++. #opensource
同类推荐
高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。
开源有 API可自部署DeepSeek通义千问
github.com1 处推荐
本地部署 / 运行最流行的开源大模型本地运行工具，一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。
开源可自部署有 API通义千问DeepSeek
ollama.com3 处推荐
Hugging Face 官方 JS 库，让 Transformers 模型直接在浏览器里运行，无需服务器。
开源多模态可自部署本地模型网页
github.com1 处推荐
开源本地 AI 引擎，无需 GPU 即可在任意硬件上运行 LLM、视觉、语音、图像、视频模型，兼容 OpenAI API。
开源有 API可自部署支持 MCP多模态
github.com1 处推荐