aiknow

应用评测与监控

共 138 个AI 用户与开发者推荐的应用评测与监控。

全部 模型开发训练与微调 / 量化 39数据集 / 数据标注 43AI 安全 / 护栏 87AI 抓包 / 流量分析 28AI 逆向 / 二进制分析 46AI 网络 / 代理分流 7应用评测与监控 106开发 SDK / 工具库 50

Promptmetheus

promptmetheus.com

Promptmetheus 是一个提示词工程 IDE,支持 150+ 模型,提供版本管理、自动评估和成本估算。

GPTClaudeGeminiDeepSeekGLM / 智谱Kimi
应用评测与监控 · 4 处推荐

Scale AI 的企业级生成式 AI 平台,用于构建、部署和持续优化基于自有数据的 AI Agent。

有 API可自部署GPTClaudeGemini网页
应用评测与监控 · 1 处推荐

LangWatch

langwatch.ai

面向 AI Agent 的测试与评测平台,提供模拟、评估、可观测性与治理,支持自托管。

有 API可自部署网页
应用评测与监控 · 1 处推荐

Confident AI

confident-ai.com

企业级 AI 评测与可观测平台,统一团队评测标准,监控生产环境 AI 质量。

有 API网页
应用评测与监控 · 1 处推荐

Agents Observe

github.com★ 694

Claude Code 与多智能体的实时可观测性仪表盘,可回放会话并统计 token 用量。

开源可自部署支持 MCPClaude网页命令行
MCP 服务 · 1 处推荐

LettuceDetect

github.com★ 614

开源 RAG 与代码输出幻觉检测工具,可定位答案中无依据的具体字符片段

开源可自部署本地模型LinuxMacWindows
应用评测与监控 · 1 处推荐

W&B Weave

wandb.ai

W&B 推出的生产级 Agent 可观测与持续改进平台,提供追踪、评估和护栏。

有 API网页
应用评测与监控 · 1 处推荐

VoltAgent

github.com★ 10,752

开源 TypeScript AI Agent 框架与工程平台,支持记忆、RAG、工作流、MCP 与可观测性

开源可自部署支持 MCP有 APIGPTClaude
Agent 开发框架 · 2 处推荐

gpt-prompt-engineer

github.com★ 9,674

自动生成、测试并排名提示词的开源工具,用 ELO 评分找出最佳 prompt。

开源可自部署GPTClaude网页
应用评测与监控 · 1 处推荐

Cleanlab 的可信语言模型,为任意 LLM 输出实时打分,检测幻觉与错误回答。

有 API可自部署GPTClaude网页
应用评测与监控 · 1 处推荐

seedeep

github.com★ 46

本地只读的 Claude Code 会话观测工具,实时可视化模型调用、工具、子代理与上下文占用

开源可自部署免登录ClaudeMacWindows
应用评测与监控 · 1 处推荐

ccxray

github.com★ 296

零配置 HTTP 代理与实时仪表盘,透明记录 Claude Code、Codex 等 AI 编程 Agent 的每次 API 调用与成本。

开源可自部署ClaudeGrok命令行网页
Agent 开发框架 · 1 处推荐

Continuum AI

github.com

开源 AI 基础设施组织,提供多模型路由、Agent 可观测性、安全与代码审查工具。

开源可自部署有 API网页
应用评测与监控 · 1 处推荐

免费的 AI 智能体 LLM 成本计算器,可按单步、单次运行和每月估算各主流模型的 token 成本。

免费免登录GPTClaudeGemini网页
本地硬件 / 显存计算 · 1 处推荐

Oqoqo

oqoqo.ai

面向真实 Agent 任务的评测与自定义基准平台,云端沙箱批量跑实验并分析轨迹。

ClaudeGrok通义千问网页
应用评测与监控 · 1 处推荐

Portkey

portkey.ai

面向生成式 AI 团队的全栈 LLMOps 平台,提供 AI 网关、可观测性、护栏与提示词管理。

有 APIGPTClaudeGemini网页
应用评测与监控 · 2 处推荐

claude-context-optimizer

github.com★ 114

Claude Code 插件,追踪 token 用量、识别浪费的上下文,节省 30-50% API 成本,全本地零配置。

开源可自部署Claude命令行
编程插件 · 1 处推荐

claude-code-otel

github.com★ 512

基于 OpenTelemetry 的 Claude Code 可观测性方案,用 Grafana 监控用量、性能与成本。

开源可自部署Claude命令行
应用评测与监控 · 1 处推荐

re_gent

github.com★ 797

为 AI 编程 Agent 提供版本控制,记录每一步操作,可将代码行追溯到具体提示词。

开源可自部署Claude命令行MacLinux
编程配置与工作流 · 1 处推荐

Boxdawn

boxdawn.com

AI 多智能体系统耗 token 问题检测工具,分析代理间重复调用与冗余操作。

开源免登录可自部署Claude命令行Linux
应用评测与监控 · 1 处推荐

telemetry.dev

telemetry.dev

基于 OpenTelemetry 的 LLM 可观测性平台,追踪 AI 智能体调用链,监控 token、成本、延迟与错误。

免费+付费有 API支持 MCP网页
应用评测与监控 · 1 处推荐

Hume AI

hume.ai

Hume AI 提供语音原生评估平台,通过情感智能与人类判断衡量并改进语音 AI 表现。

有 API多模态网页
应用评测与监控 · 1 处推荐

OrcaReplay

github.com★ 282

AI Agent 的“时间旅行”工具:录制、回放、分叉和调试任意模型的 Agent 运行。

可自部署ClaudeGPTGeminiGrokDeepSeek
Agent 开发框架 · 1 处推荐

Prefactor

prefactor.tech

面向生产环境 AI Agent 的运行时评估与可观测平台,实时打分质量、幻觉与成本并支持运行时干预。

有 API网页
应用评测与监控 · 1 处推荐