应用评测与监控

Claude Code 与多智能体的实时可观测性仪表盘，可回放会话并统计 token 用量。

自动生成、测试并排名提示词的开源工具，用 ELO 评分找出最佳 prompt。

开源 TypeScript AI Agent 框架与工程平台，支持记忆、RAG、工作流、MCP 与可观测性

Cleanlab 的可信语言模型，为任意 LLM 输出实时打分，检测幻觉与错误回答。

本地只读的 Claude Code 会话观测工具，实时可视化模型调用、工具、子代理与上下文占用

零配置 HTTP 代理与实时仪表盘，透明记录 Claude Code、Codex 等 AI 编程 Agent 的每次 API 调用与成本。

面向生成式 AI 团队的全栈 LLMOps 平台，提供 AI 网关、可观测性、护栏与提示词管理。

Claude Code 插件，追踪 token 用量、识别浪费的上下文，节省 30-50% API 成本，全本地零配置。

基于 OpenTelemetry 的 Claude Code 可观测性方案，用 Grafana 监控用量、性能与成本。

AI Agent 的“时间旅行”工具：录制、回放、分叉和调试任意模型的 Agent 运行。

实时监控 Claude Code 与 Codex 的本地仪表盘，追踪会话、工具调用与子代理编排。

企业级 Agent 云端执行层，提供持久化运行、能力与边界管控、可观测与反馈优化。

面向 LLM 与 Agent 应用的可观测性、监控与评测 Python SDK，支持追踪、调试、自托管仪表盘与执行图分析。

通过 Hook 事件实时监控 Claude Code 多智能体运行的可观测性系统，含实时仪表盘。

面向产品团队的 LLM 提示词测试与评测平台，支持多模型对比、断言指标与版本管理。

无代码平台，用自有数据快速构建生成式 AI 应用、聊天机器人和 Agent。

AI 测试自动化平台，自动生成测试、修复选择器，并验证 AI Agent 的幻觉与工具调用。

开源 LLM 应用框架，统一网关、可观测性、优化、评测与实验，现已停止维护。

开源 LLMOps 平台，用于提示词管理、版本控制、可观测性与评测