aiknow

应用评测与监控

共 138 个AI 用户与开发者推荐的应用评测与监控。

全部 模型开发训练与微调 / 量化 39数据集 / 数据标注 43AI 安全 / 护栏 87AI 抓包 / 流量分析 28AI 逆向 / 二进制分析 46AI 网络 / 代理分流 7应用评测与监控 106开发 SDK / 工具库 50

Datadog 推出的 AI Agent 可观测性平台,支持离线评估与生产环境追踪,帮助团队监控和优化 AI 应用。

有 API网页
应用评测与监控 · 1 处推荐

Cleanlab Detect

cleanlab.ai

实时检测 AI 回答中的幻觉、错误上下文与知识缺口,并给出可信度评分。

有 API网页
应用评测与监控 · 1 处推荐

deepset

deepset.ai

企业级 AI 平台,基于开源 Haystack 构建可自托管、可审计的 Agent 与 RAG 系统

开源可自部署LinuxMac网页Windows
Agent 开发框架 · 1 处推荐

Helicone

github.com★ 6,207

开源 LLM 可观测性平台,一行代码即可监控、评估和实验 AI 应用,并提供 AI 网关。

开源有 API可自部署GPTClaudeGemini
应用评测与监控 · 1 处推荐

Ragas

docs.ragas.io

面向 LLM 应用的开源评测框架,用 LLM 驱动的指标和实验循环替代主观「感觉检查」。

开源可自部署
应用评测与监控 · 1 处推荐

Deepchecks

deepchecks.com

企业级 LLM 评估、可观测性与监控平台,支持生产环境 AI 系统的测试与治理。

有 API网页
应用评测与监控 · 1 处推荐

Era by Eon

console.era.eon.io

AI 模拟真实企业环境,用于 Agent 开发与测试的虚拟公司平台。

免费有 API支持 MCP命令行网页
应用评测与监控 · 1 处推荐

Apache Burr

github.com★ 2,591

Apache 开源的状态机式 LLM 应用框架,可构建、追踪、持久化智能体与聊天机器人

开源可自部署
Agent 开发框架 · 1 处推荐

Braintrust

braintrust.dev

面向 AI Agent 的可观测性与评估平台,支持生产追踪、评测和回归检测。

有 API可自部署网页
应用评测与监控 · 1 处推荐

PromptLayer

promptlayer.com

面向 AI 团队的提示词管理平台,支持版本控制、评估与生产环境监控。

有 API网页
应用评测与监控 · 4 处推荐

Scale AI 的企业级生成式 AI 平台,连接企业数据、部署智能体并持续优化。

有 API可自部署GPTClaudeGemini网页
应用评测与监控 · 1 处推荐

OpenLIT

github.com★ 2,831

开源 AI Agent 可观测性平台,基于 OpenTelemetry 提供追踪、评测、护栏与成本监控

开源有 API可自部署网页命令行
应用评测与监控 · 1 处推荐

RocketRide

github.com★ 17,833

开源 AI 开发环境,C++ 高性能流水线引擎,可视化编排 LLM 工作流,支持多模型与向量库。

开源可自部署支持 MCP多模态有 APIGPT
应用评测与监控 · 1 处推荐

Prompt Security

prompt.security

面向AI安全从业者的资源平台,提供开源工具、研究分析与防护指南,应对AI威胁。

开源网页
AI 安全 / 护栏 · 1 处推荐

Agenta

agenta.ai★ 4,809

开源 LLMOps 工作台,用于构建、评测和监控 Agent 与 LLM 应用,支持自托管。

开源可自部署支持 MCP有 API网页
工作流 / 低代码平台 · 3 处推荐

Pezzo

github.com★ 3,277

开源云原生 LLMOps 平台,支持提示词设计、版本管理、可观测性与协作交付。

开源可自部署有 API网页
应用评测与监控 · 1 处推荐

Weave

weaveos.com

用 LLM 与领域模型度量工程效能,分析 AI 对代码产出、质量与成本的影响。

有 APIClaudeDeepSeekGPT命令行网页
编程配置与工作流 · 1 处推荐

Is Agentic

is-agentic.com

Vercel 出品的网站 AI Agent 就绪度评分工具,扫描并给出改进建议。

网页
应用评测与监控 · 1 处推荐

AgentOps

agentops.ai

面向 AI Agent 与 LLM 应用的可观测性平台,支持追踪、回放、调试与成本监控。

免费+付费有 API可自部署网页
应用评测与监控 · 1 处推荐

CC Harness

github.com★ 49

Claude Code 桌面工作台,本地读取会话文件,可视化子代理拓扑、Token 成本与配置审计。

开源可自部署ClaudeMacWindowsLinux
工作流 / 低代码平台 · 1 处推荐

AI Token Counter

tokensave.app

免费的 AI 提示词分词与成本计算器,支持 GPT、Claude、Gemini 模型,本地运行保障隐私。

免费免登录ClaudeGeminiGPT网页
应用评测与监控 · 1 处推荐

Kiln AI

kiln.tech★ 5,250

开源 AI 系统构建与评测平台,支持评测、RAG、Agent、合成数据、微调与提示优化。

开源有 API可自部署ClaudeGPT本地模型
应用评测与监控 · 2 处推荐

BISHENG

github.com★ 12,028

开源的企业级 LLM 应用开发运维平台,集成工作流、RAG、Agent、模型管理与评测。

开源可自部署中文界面网页Linux
应用评测与监控 · 1 处推荐

Trigger.dev

trigger.dev

开源 TypeScript 平台,用于构建持久化 AI Agent 与工作流,支持长任务、重试、队列和 LLM 可观测性。

开源可自部署有 API网页
Agent 开发框架 · 1 处推荐