API 与算力

纯 C/C++ 实现的 LLM 推理引擎，支持本地与云端多硬件高效运行大模型。

高吞吐、省显存的开源 LLM 推理与服务引擎，支持 PagedAttention 与 OpenAI 兼容 API。

最流行的开源大模型本地运行工具，一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。

OpenAI 官方 API 平台，提供 GPT 系列前沿模型与多模态能力，供开发者构建 AI 产品。

OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版，无依赖、可离线本地运行

开源 AI 网关，用 OpenAI 格式统一调用 100+ 大模型，支持成本追踪、限流与负载均衡

开源私有 AI 应用 API 层，为本地模型提供 RAG、工具、MCP 与结构化数据访问能力

OpenAI 官方在线调试台，可在浏览器中直接试用 GPT 等模型并调参。

Hugging Face 官方 JS 库，让 Transformers 模型直接在浏览器里运行，无需服务器。

开源网页数据 API，把任意网站抓取为 LLM 可用的 Markdown、JSON 或截图，支持搜索与页面交互。

开源本地 AI 引擎，无需 GPU 即可在任意硬件上运行 LLM、视觉、语音、图像、视频模型，兼容 OpenAI API。

开源自托管 AI 网关，聚合多家大模型并统一转成 OpenAI/Claude/Gemini 兼容接口，支持路由、计费与用量管理。

云端运行与微调开源模型的 API 平台，一行代码即可调用图像、视频、语言等模型。

开源 LLM API 管理与分发系统，统一多家大模型为 OpenAI 格式，单文件 Docker 一键部署。

开源离线语音识别工具包，支持 20 多种语言，模型仅约 50MB，可流式实时转写。

Simon Willison 开发的命令行工具与 Python 库，可在终端调用各家大模型并本地运行。

Black Forest Labs 开源的 FLUX.1 文生图与图像编辑模型官方推理代码库

基于新一代 Kaldi 与 onnxruntime 的离线语音工具库，支持识别、合成、说话人分离等，跨平台多语言。

免费 MIT 开源 AI 网关，一个端点聚合 359 家供应商、1200+ 模型，支持配额感知自动回退与压缩省 token。

微软 Azure 的语音 AI 服务，提供语音识别、文本转语音、翻译和自定义语音模型。

把各类 CLI 编程工具账号包装成 OpenAI/Gemini/Claude 兼容 API 的代理服务，可自建中转。

基于 WebGPU 的浏览器内 LLM 推理引擎，无需服务器即可在网页本地运行大模型，兼容 OpenAI API。

高性能大模型与多模态模型推理服务框架，支持 Agent、RL 与大规模部署。

Cloudflare 推出的无服务器 GPU 推理平台，可在全球网络运行 50+ 开源模型。