aiknow

AI 安全 / 护栏

共 6 个AI 用户与开发者推荐的AI 安全 / 护栏。

全部 模型开发训练与微调 / 量化 14数据集 2AI 安全 / 护栏 6应用评测与监控 32开发 SDK / 工具库 19

garak

github.com★ 9,429

NVIDIA 开源的 LLM 漏洞扫描器,检测幻觉、提示注入、越狱等安全弱点

开源可自部署有 APIGPT本地模型命令行
AI 安全 / 护栏 · 1 处推荐

PentestGPT

github.com★ 15,717

基于大模型的自动化渗透测试 Agent 框架,支持 CTF 解题与渗透流程,发表于 USENIX Security 2024。

开源可自部署ClaudeGPT命令行Linux
AI 安全 / 护栏 · 1 处推荐

NeMo Guardrails

github.com★ 7,246

NVIDIA 开源的可编程护栏工具包,为 LLM 对话应用添加安全、合规与可控对话流程。

开源可自部署LinuxMacWindows
AI 安全 / 护栏 · 1 处推荐

Strix

github.com★ 66,489

开源 AI 渗透测试工具,自主 AI 黑客代理动态运行代码、发现并验证漏洞,还能自动修复。

开源有 API可自部署GPT命令行Linux
AI 安全 / 护栏 · 1 处推荐

Guardrails AI

github.com★ 7,485

Python 框架,为 LLM 应用添加输入输出护栏,检测风险并生成结构化数据。

开源可自部署有 APIGPTLinuxMac
AI 安全 / 护栏 · 1 处推荐

Lakera

lakera.ai

AI 原生安全平台,防护提示注入、越狱与数据泄露,支持红队测试与实时防护。

有 API网页
AI 安全 / 护栏 · 1 处推荐