API 与算力
共 288 个AI 用户与开发者推荐的API 与算力。
纯 C/C++ 实现的 LLM 推理引擎,支持本地与云端多硬件高效运行大模型。
高吞吐、省显存的开源 LLM 推理与服务引擎,支持 PagedAttention 与 OpenAI 兼容 API。
最流行的开源大模型本地运行工具,一条命令即可下载并运行 Llama、Qwen、DeepSeek 等模型。
OpenAI API Platform
openai.comOpenAI 官方 API 平台,提供 GPT 系列前沿模型与多模态能力,供开发者构建 AI 产品。
Gemini API
ai.google.devGoogle 官方 Gemini 系列模型的开发者 API,支持文本、图像、多模态与对话智能体构建。
OpenAI Whisper 语音识别模型的 C/C++ 高性能移植版,无依赖、可离线本地运行
开源 AI 网关,用 OpenAI 格式统一调用 100+ 大模型,支持成本追踪、限流与负载均衡
Gemini Developer API
ai.google.devGoogle 推出的 Gemini 开发者 API,支持构建 AI 应用与代码生成。
vLLM
docs.vllm.ai高效易用的开源 LLM 推理与服务库,支持 PagedAttention 和连续批处理,吞吐量领先。
OpenAI Playground
platform.openai.comOpenAI 官方在线调试台,可在浏览器中直接试用 GPT 等模型并调参。
Hugging Face 官方 JS 库,让 Transformers 模型直接在浏览器里运行,无需服务器。
开源网页数据 API,把任意网站抓取为 LLM 可用的 Markdown、JSON 或截图,支持搜索与页面交互。
开源本地 AI 引擎,无需 GPU 即可在任意硬件上运行 LLM、视觉、语音、图像、视频模型,兼容 OpenAI API。
开源自托管 AI 网关,聚合多家大模型并统一转成 OpenAI/Claude/Gemini 兼容接口,支持路由、计费与用量管理。
Kubernetes 上的异构 GPU 虚拟化与共享调度中间件,支持显存/算力切分与多厂商加速卡统一管理。
开源 LLM API 管理与分发系统,统一多家大模型为 OpenAI 格式,单文件 Docker 一键部署。
开源离线语音识别工具包,支持 20 多种语言,模型仅约 50MB,可流式实时转写。
Simon Willison 开发的命令行工具与 Python 库,可在终端调用各家大模型并本地运行。
Black Forest Labs 开源的 FLUX.1 文生图与图像编辑模型官方推理代码库
基于新一代 Kaldi 与 onnxruntime 的离线语音工具库,支持识别、合成、说话人分离等,跨平台多语言。
免费 MIT 开源 AI 网关,一个端点聚合 359 家供应商、1200+ 模型,支持配额感知自动回退与压缩省 token。
一站式模型推理部署框架,一条命令即可在云端、本地或笔记本上运行开源、语音与多模态模型,提供统一 API。
面向 Apple Silicon 的本地 LLM 推理服务器,支持连续批处理与 SSD 分层 KV 缓存,可从 macOS 菜单栏管理。