Jevstiller

jevstiller.pages.dev

Jev 的即插即用代理，从 Jev 的回答中在线蒸馏本地小模型，在设定的误差预算内本地快速回答重复的分类问题

有 API可自部署本地模型Linux

被推荐 1 次

访问网站 ↗

适合做什么

适合高频分类请求、延迟敏感或需离线运行的开发者，用 Jev 的 API 但想降低延迟与外部依赖

标签与属性

特性

有 API 可自部署

支持模型

本地模型

平台

Linux

同类推荐

中转站源码 / 自建网关

LiteLLM

★ 60,124

开源 AI 网关，用 OpenAI 格式统一调用 100+ 大模型，支持成本追踪、限流与负载均衡

开源有 API可自部署支持 MCPGPT

github.com1 处推荐

应用评测与监控

MLflow

开源 AI 工程平台，支持 LLM 应用与 Agent 的追踪、评估、监控和提示词优化。

开源有 API可自部署网页Linux

mlflow.org1 处推荐

中转站源码 / 自建网关

New API

★ 49,261

开源自托管 AI 网关，聚合多家大模型并统一转成 OpenAI/Claude/Gemini 兼容接口，支持路由、计费与用量管理。

开源有 API可自部署中文界面通义千问

github.com1 处推荐

中转站源码 / 自建网关

One API

★ 37,075

开源 LLM API 管理与分发系统，统一多家大模型为 OpenAI 格式，单文件 Docker 一键部署。

开源有 API可自部署中文界面GPT

github.com1 处推荐

中转站源码 / 自建网关

OmniRoute

★ 74,049

免费 MIT 开源 AI 网关，一个端点聚合 359 家供应商、1200+ 模型，支持配额感知自动回退与压缩省 token。

开源有 API可自部署支持 MCPGPT

github.com1 处推荐

中转站源码 / 自建网关

CLIProxyAPI

★ 54,128

把各类 CLI 编程工具账号包装成 OpenAI/Gemini/Claude 兼容 API 的代理服务，可自建中转。

开源有 API可自部署ClaudeGemini

github.com1 处推荐