aiknow
BitNet

BitNet

github.com

微软开源的 1-bit LLM 官方推理框架,在 CPU/GPU 上实现快速无损的 1.58-bit 模型推理。

开源可自部署本地模型命令行LinuxMac
GitHub ★ 40,373被推荐 2 次

适合做什么

适合想在本地 CPU 上低成本、低能耗运行大模型的开发者与研究者。

标签与属性

谁在推荐

@steven2358/awesome-generative-ai · awesome 列表出处 ↗
bitnet.cpp - Official inference framework for 1-bit LLMs, by Microsoft. #opensource

同类推荐

本地部署 / 运行

llama.cpp

★ 130,655

纯 C/C++ 实现的 LLM 推理引擎,支持本地与云端多硬件高效运行大模型。

开源可自部署有 API多模态通义千问
github.com3 处推荐
本地部署 / 运行

vLLM

★ 93,170

高吞吐、省显存的开源 LLM 推理与服务引擎,支持 PagedAttention 与 OpenAI 兼容 API。

开源有 API可自部署DeepSeek通义千问
github.com1 处推荐
本地部署 / 运行

Ollama

★ 182,177

最流行的开源大模型本地运行工具,一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。

开源可自部署有 API通义千问DeepSeek
ollama.com3 处推荐
本地部署 / 运行

whisper.cpp

★ 54,217

OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版,无依赖、可离线本地运行

开源可自部署本地模型MacWindows
github.com2 处推荐
聊天客户端

textgen

★ 47,726

开源本地大模型桌面应用,支持文本、视觉、工具调用,兼容 OpenAI/Anthropic API,完全离线隐私。

开源可自部署有 API支持 MCP多模态
github.com1 处推荐
本地部署 / 运行

高效易用的开源 LLM 推理与服务库,支持 PagedAttention 和连续批处理,吞吐量领先。

开源可自部署有 API通义千问本地模型
docs.vllm.ai1 处推荐