应用评测与监控
共 138 个AI 用户与开发者推荐的应用评测与监控。
开源 AI 工程平台,支持 LLM 与 ML 模型的追踪、评估、监控与部署。
EleutherAI 开源的大模型少样本评测框架,支持数百任务与多种推理后端。
开源 LLM 评测与红队测试 CLI/库,可对比多模型、扫描漏洞并集成 CI/CD。
开源 LLM 评估框架,类似 Pytest,用 G-Eval 等指标本地评测 LLM 应用与 Agent
Pydantic
pydantic.devPydantic 团队推出的 AI 工程栈,包含 Logfire 可观测性、Pydantic AI 智能体框架、评估与 AI 网关。
Google AI Studio
aistudio.google.comGoogle 官方 Gemini 模型在线试验与开发平台,从提示词快速走向生产。
Arize Phoenix
phoenix.arize.com开源 AI 可观测与评测平台,追踪、评估并改进 AI Agent,支持本地或自托管部署。
微软开源的 LLM 应用开发工具套件,覆盖原型、测试、评估到生产部署与监控全流程。
Promptfoo
promptfoo.dev开源 LLM 提示词与 RAG 评估工具,支持批量测试提示词效果,并集成 AI 安全测试与红队攻击模拟。
Gemini platform (Vertex AI)
cloud.google.comGoogle Cloud 的企业级 AI 平台,用于构建、部署、治理和优化 AI Agent 与模型。
Comet 开源的 LLM 可观测与评测平台,支持 Agent 追踪、自动评估和生产监控,可自托管。
开源 ML 与 LLM 可观测性框架,内置 100+ 指标,支持评估、测试与线上监控。
本地代理与追踪查看器,可拦截并检查 Claude Code、Codex 等编程 Agent 的真实 API 流量与上下文
开源 LLM 应用与 Agent 评测追踪工具,OpenTelemetry 原生,可定位失败点并对比版本成本。
英国 AI 安全研究所开源的大模型评测框架,内置 200+ 评测,支持提示工程、工具调用与多轮对话。
Sentry Agent Tracing
docs.sentry.ioSentry 的 AI 智能体追踪功能,记录每次运行中的模型调用、工具调用与交接,用于调试与优化。
开源可视化提示词工程环境,可批量测试、对比多个 LLM 的提示词与响应质量。