STROT
github.com
把决策任务编译成冻结的 Python 流水线,运行时由本地小模型在 CPU 上做确定性分类,无需调用 API。
开源可自部署Claude本地模型
GitHub ★ 41被推荐 1 次
适合做什么
适合需要低成本、可离线、结果可控的文本分类与工单路由场景,开发者用。
标签与属性
同类推荐
Hugging Face 出品的模型定义框架,统一文本、视觉、音频与多模态模型的推理与训练接口。
开源可自部署多模态通义千问本地模型
github.com3 处推荐
开发 SDK / 工具库Vercel 出品的 TypeScript AI 开发工具包,统一接入多家模型,快速构建 AI 应用与 Agent。
开源有 APIClaudeGeminiGPT
ai-sdk.dev2 处推荐
高吞吐、省显存的开源 LLM 推理与服务引擎,支持 PagedAttention 与 OpenAI 兼容 API。
开源有 API可自部署DeepSeek通义千问
github.com1 处推荐