应用评测与监控

开源 AI 工程平台，支持 LLM 与 ML 模型的追踪、评估、监控与部署。

开源 AI 工程平台，支持 LLM 应用与 Agent 的追踪、评估、监控和提示词优化。

开源 LLM 工程平台，集追踪、评估、提示词管理与实验于一体，支持自托管。

开源 LLM 评测与红队测试 CLI/库，可对比多模型、扫描漏洞并集成 CI/CD。

开源 LLM 评估框架，类似 Pytest，用 G-Eval 等指标本地评测 LLM 应用与 Agent

Google 官方 Gemini 模型在线试验与开发平台，从提示词快速走向生产。

开源 AI 可观测与评测平台，追踪、评估并改进 AI Agent，支持本地或自托管部署。

微软开源的 LLM 应用开发工具套件，覆盖原型、测试、评估到生产部署与监控全流程。

Comet 开源的 LLM 可观测与评测平台，支持 Agent 追踪、自动评估和生产监控，可自托管。

开源 LLM 应用评测工具包，提供客观指标、自动生成测试集与生产数据反馈闭环。

本地分析编程 Agent CLI 的 token 用量与费用的命令行工具，支持 Claude Code、Codex 等多种 CLI。

英国 AI 安全研究所开源的大模型评测框架，内置 200+ 评测，支持提示工程、工具调用与多轮对话。

Comet 推出的开源 LLM 可观测与评测平台，支持 Agent 全链路追踪、自动评测与生产监控。

实时检测 AI 回答中的幻觉、错误上下文与知识缺口，并给出可信度评分。

开源 LLM 可观测性平台，一行代码即可监控、评估和实验 AI 应用，并提供 AI 网关。

Scale AI 的企业级生成式 AI 平台，连接企业数据、部署智能体并持续优化。

开源 AI Agent 可观测性平台，基于 OpenTelemetry 提供追踪、评测、护栏与成本监控

开源 AI 开发环境，C++ 高性能流水线引擎，可视化编排 LLM 工作流，支持多模型与向量库。

开源 LLMOps 工作台，用于构建、评测和监控 Agent 与 LLM 应用，支持自托管。

开源云原生 LLMOps 平台，支持提示词设计、版本管理、可观测性与协作交付。

Claude Code 桌面工作台，本地读取会话文件，可视化子代理拓扑、Token 成本与配置审计。

开源 AI 系统构建与评测平台，支持评测、RAG、Agent、合成数据、微调与提示优化。

开源的企业级 LLM 应用开发运维平台，集成工作流、RAG、Agent、模型管理与评测。

Scale AI 的企业级生成式 AI 平台，用于构建、部署和持续优化基于自有数据的 AI Agent。