aiknow

应用评测与监控

共 138 个AI 用户与开发者推荐的应用评测与监控。

全部 模型开发训练与微调 / 量化 39数据集 / 数据标注 43AI 安全 / 护栏 87AI 抓包 / 流量分析 28AI 逆向 / 二进制分析 46AI 网络 / 代理分流 7应用评测与监控 106开发 SDK / 工具库 50

MLflow

github.com★ 28,310

开源 AI 工程平台,支持 LLM 与 ML 模型的追踪、评估、监控与部署。

开源可自部署有 API支持 MCPGPTClaude
应用评测与监控 · 1 处推荐

EleutherAI 开源的大模型少样本评测框架,支持数百任务与多种推理后端。

开源可自部署有 API本地模型命令行Linux
应用评测与监控 · 1 处推荐

MLflow

mlflow.org

开源 AI 工程平台,支持 LLM 应用与 Agent 的追踪、评估、监控和提示词优化。

开源有 API可自部署网页LinuxMac
应用评测与监控 · 1 处推荐

Langfuse

langfuse.com★ 35,370

开源 LLM 工程平台,集追踪、评估、提示词管理与实验于一体,支持自托管。

开源有 API可自部署网页
应用评测与监控 · 4 处推荐

promptfoo

github.com★ 25,806

开源 LLM 评测与红队测试 CLI/库,可对比多模型、扫描漏洞并集成 CI/CD。

开源有 API可自部署GPTClaudeGemini
应用评测与监控 · 1 处推荐

DeepEval

github.com★ 18,627

开源 LLM 评估框架,类似 Pytest,用 G-Eval 等指标本地评测 LLM 应用与 Agent

开源有 API可自部署命令行
应用评测与监控 · 1 处推荐

Pydantic

pydantic.dev

Pydantic 团队推出的 AI 工程栈,包含 Logfire 可观测性、Pydantic AI 智能体框架、评估与 AI 网关。

免费+付费网页
应用评测与监控 · 2 处推荐

Google AI Studio

aistudio.google.com

Google 官方 Gemini 模型在线试验与开发平台,从提示词快速走向生产。

有 API多模态Gemini网页
应用评测与监控 · 2 处推荐

Arize Phoenix

phoenix.arize.com

开源 AI 可观测与评测平台,追踪、评估并改进 AI Agent,支持本地或自托管部署。

开源可自部署有 API网页LinuxMac
应用评测与监控 · 2 处推荐

Prompt flow

github.com★ 11,243

微软开源的 LLM 应用开发工具套件,覆盖原型、测试、评估到生产部署与监控全流程。

开源有 API可自部署GPT命令行网页
应用评测与监控 · 1 处推荐

Promptfoo

promptfoo.dev

开源 LLM 提示词与 RAG 评估工具,支持批量测试提示词效果,并集成 AI 安全测试与红队攻击模拟。

开源有 API可自部署支持 MCP网页命令行
应用评测与监控 · 1 处推荐

Google Cloud 的企业级 AI 平台,用于构建、部署、治理和优化 AI Agent 与模型。

有 API多模态GeminiClaude本地模型网页
训练与微调 / 量化 · 1 处推荐

Opik

github.com★ 22,448

Comet 开源的 LLM 可观测与评测平台,支持 Agent 追踪、自动评估和生产监控,可自托管。

开源可自部署有 API网页
应用评测与监控 · 2 处推荐

Evidently

github.com★ 8,032

开源 ML 与 LLM 可观测性框架,内置 100+ 指标,支持评估、测试与线上监控。

开源可自部署有 API网页LinuxMac
应用评测与监控 · 1 处推荐

LangSmith

smith.langchain.com

LangChain 出品的 Agent 工程平台,可观测、评测并部署 Agent,支持无代码构建。

有 API网页
应用评测与监控 · 1 处推荐

claude-tap

github.com★ 3,271

本地代理与追踪查看器,可拦截并检查 Claude Code、Codex 等编程 Agent 的真实 API 流量与上下文

开源可自部署ClaudeGeminiGPTKimi
AI 抓包 / 流量分析 · 1 处推荐

Ragas

github.com★ 15,962

开源 LLM 应用评测工具包,提供客观指标、自动生成测试集与生产数据反馈闭环。

开源有 API可自部署GPT命令行
应用评测与监控 · 1 处推荐

TruLens

github.com★ 3,625

开源 LLM 应用与 Agent 评测追踪工具,OpenTelemetry 原生,可定位失败点并对比版本成本。

开源可自部署有 API
应用评测与监控 · 1 处推荐

Inspect AI

inspect.aisi.org.uk★ 2,932

英国 AI 安全研究所开源的大模型评测框架,内置 200+ 评测,支持提示工程、工具调用与多轮对话。

开源有 API可自部署GPT本地模型命令行
应用评测与监控 · 3 处推荐

Dataiku

dataiku.com

企业级 AI 平台,统一数据、模型、Agent 与治理,实现从数据到生产 AI 的端到端协作。

可自部署网页
应用评测与监控 · 1 处推荐

Opik

comet.com

Comet 推出的开源 LLM 可观测与评测平台,支持 Agent 全链路追踪、自动评测与生产监控。

免费+付费有 API可自部署GPT网页
应用评测与监控 · 1 处推荐

Sentry Agent Tracing

docs.sentry.io

Sentry 的 AI 智能体追踪功能,记录每次运行中的模型调用、工具调用与交接,用于调试与优化。

有 API网页
Agent 开发框架 · 1 处推荐

ChainForge

github.com★ 3,041

开源可视化提示词工程环境,可批量测试、对比多个 LLM 的提示词与响应质量。

开源可自部署GPTClaudeGemini本地模型
应用评测与监控 · 4 处推荐

Giskard

github.com★ 5,941

开源 Python 库,用于 LLM Agent 的评测、红队测试与漏洞扫描,模块化、异步优先。

开源可自部署命令行
应用评测与监控 · 1 处推荐