llama.cpp
github.com
纯 C/C++ 实现的 LLM 推理引擎,支持本地与云端多硬件高效运行大模型。
开源有 API多模态可自部署本地模型通义千问
GitHub ★ 130,655被推荐 3 次
适合做什么
适合想在本地或自有硬件上低成本运行大模型、搭建私有推理服务的开发者。
标签与属性
谁在推荐
llama.cpp - Inference of Meta's LLaMA model (and others) in pure C/C++. #opensource
同类推荐
高吞吐、省显存的开源 LLM 推理与服务引擎,支持 PagedAttention 与 OpenAI 兼容 API。
开源有 API可自部署DeepSeek通义千问
github.com1 处推荐
本地部署 / 运行最流行的开源大模型本地运行工具,一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。
开源可自部署有 API通义千问DeepSeek
ollama.com3 处推荐
OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版,无依赖、可离线本地运行
开源可自部署本地模型MacWindows
github.com2 处推荐
开源本地大模型桌面应用,支持文本、视觉、工具调用,兼容 OpenAI/Anthropic API,完全离线隐私。
开源可自部署有 API支持 MCP多模态
github.com1 处推荐
Hugging Face 官方 JS 库,让 Transformers 模型直接在浏览器里运行,无需服务器。
开源多模态可自部署本地模型网页
github.com1 处推荐