Mirai S Ada
github.com
在 12GB 显存上跑 Qwen3.8-27B 的 llama.cpp 服务层，支持 262k 上下文与 MTP 投机解码
可自部署本地模型通义千问命令行Linux
GitHub ★ 83被推荐 1 次
适合做什么
适合显存有限但想本地跑 27B 长上下文模型的开发者，做本地推理与部署调优。
标签与属性
同类推荐
高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。
开源有 API可自部署DeepSeek通义千问
github.com1 处推荐
本地部署 / 运行最流行的开源大模型本地运行工具，一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。
开源可自部署有 API通义千问DeepSeek
ollama.com3 处推荐
OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版，无依赖、可离线本地运行
开源可自部署本地模型MacWindows
github.com2 处推荐
开源本地大模型桌面应用，支持文本、视觉、工具调用，兼容 OpenAI/Anthropic API，完全离线隐私。
开源可自部署有 API支持 MCP多模态
github.com1 处推荐