适合做什么
适合 Python 开发者快速搭建带 UI 的 LLM 聊天应用、Agent 工具调用与原型验证。
标签与属性
同类推荐
高吞吐、省显存的开源 LLM 推理与服务引擎,支持 PagedAttention 与 OpenAI 兼容 API。
开源有 API可自部署DeepSeek通义千问
github.com1 处推荐
适合 Python 开发者快速搭建带 UI 的 LLM 聊天应用、Agent 工具调用与原型验证。
高吞吐、省显存的开源 LLM 推理与服务引擎,支持 PagedAttention 与 OpenAI 兼容 API。