AI 安全 / 护栏
共 108 个AI 用户与开发者推荐的AI 安全 / 护栏。
OWASP GenAI Security Project
genai.owasp.orgOWASP 发起的开源生成式 AI 安全项目,提供 LLM Top 10、Agent 管控标准等免费指南
IBM 发起、LF AI 托管的 Python 机器学习安全库,提供对抗攻击与防御工具。
基于大模型的自动化渗透测试 Agent 框架,支持 CTF 解题与渗透流程,发表于 USENIX Security 2024。
Meta 开源的大模型安全工具集,含 Llama Guard 护栏与 CyberSecEval 安全评测基准。
开源 AI 渗透测试工具,自主 AI 黑客代理动态运行代码、发现并验证漏洞,还能自动修复。
NVIDIA 开源的可编程护栏工具包,为 LLM 对话应用添加安全、合规与可控对话流程。
Promptfoo
promptfoo.dev开源 LLM 提示词与 RAG 评估工具,支持批量测试提示词效果,并集成 AI 安全测试与红队攻击模拟。
面向 AI 编程客户端的逆向/渗透/安全技能路由包,自动路由方法论并按需自举工具链。
英伟达开源的可编程护栏工具包,为 LLM 对话应用添加安全与行为控制。
Python 框架,为 LLM 应用添加输入输出护栏,检测风险并生成结构化数据。
Claude Code 技能,反编译 Android APK 并提取 Retrofit、Ktor、GraphQL 等 HTTP API 与鉴权方式
腾讯朱雀实验室开源的全栈 AI 红队平台,可扫描 Agent、MCP、Skills 与 AI 基础设施漏洞并做越狱评测
基于 TensorFlow.js 的浏览器端 NSFW 图片识别 JS 库,本地推理不上传,准确率约 90%+
开源 LLM 红队测试框架,模拟越狱、提示注入等攻击,发现偏见、PII 泄露等漏洞并提供护栏。
对 Claude 桌面端、CLI 与 Android 客户端遥测行为的源码级逆向审计,揭示其上报内容与关闭方法。
AI 原生的网络安全行动系统,用 Agent 编排渗透测试、MCP 工具与攻击链分析,全程可审计。
Falconsai/nsfw_image_detection
huggingface.coHugging Face 上的开源 NSFW 图像分类模型,基于 ViT,可本地部署检测不适宜内容。
AI 自主渗透测试系统,Go 后端 + Next.js 前端,支持 LLM 驱动资产探索与人在环路审批。
Python pickle 反编译器与静态分析器,可检测并拦截恶意 pickle 及 PyTorch 模型文件。
Infosec House AI
infosec.houseInfosec House 的 AI 安全工具目录,收录 116 个攻击与防御 AI 系统的开源工具。
基于 Inception V3 的 Keras NSFW 图像检测模型,可识别色情、性感、动漫等五类内容,准确率约 93%。