aiknow

应用评测与监控

共 138 个AI 用户与开发者推荐的应用评测与监控。

全部 模型开发训练与微调 / 量化 39数据集 / 数据标注 43AI 安全 / 护栏 87AI 抓包 / 流量分析 28AI 逆向 / 二进制分析 46AI 网络 / 代理分流 7应用评测与监控 106开发 SDK / 工具库 50

Edgee

edgee.ai

Agent 网关,通过智能路由与 token 压缩为编程 Agent 降低最高 70% 成本,无需改代码。

有 API可自部署ClaudeGPTGLM / 智谱Kimi
中转站源码 / 自建网关 · 1 处推荐

HoneyHive

honeyhive.ai

面向生产环境的 AI Agent 可观测性与评测平台,支持追踪、评估、监控和优化智能体。

有 API网页
应用评测与监控 · 1 处推荐

AgenticRL-Bench

agenticrl-bench.env-lab.ai

Eigent AI 推出的智能体强化学习基准,含 22 项真实任务与排行榜,覆盖调试到训练。

开源GLM / 智谱网页
应用评测与监控 · 1 处推荐

Claude Code Agent Monitor

github.com★ 1,052

实时监控 Claude Code 与 Codex 的本地仪表盘,追踪会话、工具调用与子代理编排。

开源可自部署支持 MCPClaude网页Mac
通用 Agent(帮你干活) · 1 处推荐

Rebyte

rebyte.ai

企业级 Agent 云端执行层,提供持久化运行、能力与边界管控、可观测与反馈优化。

有 API支持 MCP网页命令行
Agent 开发框架 · 1 处推荐

forge-bench

github.com★ 1

Cogniphic 开源的编程 Agent 基准测试仓库,对比 Forge 与 Claude Code、Codex 在 SWE-bench 上的成功率、token 与成本。

开源可自部署ClaudeGPT
应用评测与监控 · 1 处推荐

Overmind

github.com★ 602

面向 AI Agent 的持续训练平台,把生产 trace 转成微调模型与评测,支持自托管。

开源有 API支持 MCP可自部署命令行网页
应用评测与监控 · 1 处推荐

KORA Doctor

github.com★ 4

开源 CLI 工具,分析 AI Agent 的 LLM 调用记录,找出可删除、缓存或换小模型的冗余推理调用

开源可自部署命令行LinuxMacWindows
应用评测与监控 · 1 处推荐

Cekura

cekura.ai

语音 Agent 的测试与可观测性平台,支持上线前模拟、生产监控与自动修复建议。

有 API网页
应用评测与监控 · 1 处推荐

Cobalt Cockpit

cobaltcockpit.dev

Claude Code 插件,提供任务进度 HUD、子代理编排与验证门禁,确保完成前有证据。

开源Claude命令行
桌面 Agent 客户端 · 1 处推荐

BotGauge

botgauge.com

AI Agent 红队测试平台,提供自适应测试、追踪、评估与护栏,保障 Agent 安全。

有 API网页
AI 安全 / 护栏 · 1 处推荐

RagaAI Catalyst

github.com★ 16,169

面向 LLM 与 Agent 应用的可观测性、监控与评测 Python SDK,支持追踪、调试、自托管仪表盘与执行图分析。

有 API可自部署GPT网页LinuxMac
应用评测与监控 · 1 处推荐

Parsimony

parsimony.lasu.dev

开源基准,衡量 AI 编程模型在解决任务时净增加的代码量,惩罚冗余代码。

开源网页
应用评测与监控 · 1 处推荐

agentplay

github.com★ 54

开源本地工具,把 Claude Code、Codex、Cursor 等编程 Agent 的会话回放成地图与时间线,看清它读了什么、改了什么、哪里失败。

开源免登录可自部署命令行
编程配置与工作流 · 1 处推荐

Galileo AI

galileo.ai

AI可观测性与评估平台,提供离线评估、生产护栏和Luna模型低成本监控。

有 API网页
应用评测与监控 · 1 处推荐

meow-llm-detector

github.com★ 1,486

开源工具,通过短问题回答分布对模型行为做指纹比对,检测 API 中转站是否真实提供所申报的模型。

开源可自部署有 API中文界面WindowsMac
应用评测与监控 · 1 处推荐

Inferock Bench

github.com★ 106

本地 LLM 成本追踪代理,为 OpenAI、Anthropic、Gemini 等调用生成逐次计费与失败凭证

有 API可自部署ClaudeGeminiGPT命令行
中转站源码 / 自建网关 · 1 处推荐

CloudOpsBench

cloudopsbench.ai

面向云运维的 AI Agent 基准测试站,提供可复现评测、排行榜与任务记录。

ClaudeDeepSeekGeminiGPTGrokKimi
应用评测与监控 · 1 处推荐

Fiddler AI

fiddler.ai

企业级 AI 控制平面,提供评估、监控、护栏与治理,保障 Agent 全生命周期安全合规。

可自部署有 API网页
应用评测与监控 · 1 处推荐

通过 Hook 事件实时监控 Claude Code 多智能体运行的可观测性系统,含实时仪表盘。

开源可自部署Claude命令行网页
Agent 开发框架 · 1 处推荐

LangFast

langfa.st

面向产品团队的 LLM 提示词测试与评测平台,支持多模型对比、断言指标与版本管理。

付费有 APIGPTClaudeGemini网页
应用评测与监控 · 1 处推荐

Gambit

github.com★ 242

面向 Agent 系统的合成场景与评测框架,生成场景、运行评测、评分并沉淀回归证据。

开源可自部署命令行网页
Agent 开发框架 · 1 处推荐

SineFrame M3

m3.sineframe.com

面向 MCP 服务器的 pytest 测试框架,用真实 Claude Code、Codex 等 Agent 验证工具调用并在 CI 中拦截回归。

ClaudeGPT命令行LinuxMacWindows
应用评测与监控 · 1 处推荐

Drift Calibrator

neuronpedia.org

MIT Media Lab 的研究工具,在对话中实时可视化 AI 的共情、谄媚、毒性等内部行为特征。

网页
应用评测与监控 · 1 处推荐