1. 基本信息
| 项目 | 内容 |
|---|---|
| 名称 | 16-ai-llm-security(Masriyan/Claude-Code-CyberSecurity-Skill 合集内子技能) |
| 作者/维护者 | Masriyan(GitHub 个人开发者,本名 Riyan Pratama) |
| 来源链接 | https://github.com/Masriyan/Claude-Code-CyberSecurity-Skill/tree/main/skills/16-ai-llm-security |
| 许可证 | MIT(GitHub API 获取) |
| GitHub Stars | 298(整仓库,GitHub API 获取;合集仓库整体数字,不代表本子技能个体热度) |
| Forks | 52(整仓库,GitHub API 获取) |
| 最新版本 | SKILL.md 正文标注 3.0.0(网页抓取获取,仓库未发布正式 Release) |
| 安装方式 | 复制子技能目录到对应 agent 的 skills 目录(详见第 10 章) |
项目自述名称:仓库整体标题为「Claude Code CyberSecurity Skill Collection」,16-ai-llm-security 是其中一个独立的子技能目录。
2. 功能介绍与亮点
16-ai-llm-security 是一套面向 LLM/AI 应用的主动安全测试方法论,覆盖 **OWASP Top 10 for LLM Applications(2025)**十类风险(提示注入、敏感信息泄露、模型供应链、数据/模型投毒、输出处理不当、越权代理、系统提示泄露、向量/嵌入弱点、误导信息、无限制资源消耗),并同时关联 MITRE ATLAS 对抗性机器学习知识库。
核心能力分五块:① 按 OWASP LLM 十类风险逐项建立威胁模型表(暴露情况→证据→严重度→缓解措施);② 提示注入与越狱测试——区分直接注入(角色扮演绕过、编码混淆、多轮渐进升级)与间接注入(经 RAG/网页/邮件等外部内容注入),要求同一测试目标至少用 3 种变体复测才能判定防护有效;③ RAG 与向量库安全审查(检索层权限过滤、跨租户泄露、嵌入反演风险);④ Agent 工具调用安全(最小权限工具范围、人工复核关口、参数校验、MCP 服务器加固);⑤ 模型供应链安全——用 model_supply_chain.py 静态扫描 pickle/.pt 等模型文件的不安全反序列化风险。
亮点:正文开篇即声明“仅可测试你拥有或已获书面授权的系统”,prompt_injection_tester.py 发起的 HTTP 请求目标为用户在命令行显式指定的端点,而非硬编码的第三方系统;model_supply_chain.py 经审查确认为纯本地静态扫描,不发起任何网络请求。
3. 适用场景
所属分类:安全与合规。
适用于需要对已上线聊天机器人、RAG 应用或工具调用型 agent 系统做授权安全评估的安全工程师,以及需要一份可复现的提示注入测试用例库(而非临时手写几条越狱语句)的红队测试人员。
4. 跨 Agent 兼容性
- Claude Code:原生支持——标准
SKILL.md目录格式,同源仓库其余子技能均明确围绕 Claude Code 原生工具设计,安装方式一致。 - Codex / OpenClaw / Hermes Agent:均未验证——仓库文档全篇未提及这三者,未检索到相关证据。
5. 推荐理由
多数通用安全评审技能(含库内同源合集的其余子技能)覆盖的是传统 Web/云/代码安全,16-ai-llm-security 专注于 LLM 应用特有的攻击面——提示注入、RAG 投毒、Agent 工具滥用、模型文件反序列化风险,并把 OWASP LLM Top 10 与 MITRE ATLAS 两套框架结合成可执行的测试流程,而不是停留在风险清单层面。随附脚本经审查确认:一个是纯本地静态扫描,另一个的网络请求目标严格限定为用户显式指定的授权端点,适合已具备基本安全测试能力、需要标准化 LLM 攻击面测试用例的团队直接使用。
6. 评分
| 维度 | 分数 | 说明 |
|---|---|---|
| 受欢迎程度 | 5 | 所属仓库为个人开发者维护的开源项目(298 Stars/52 Forks/MIT 许可证),非官方或一线机构出品;专门检索未找到本子技能独立于母仓库的第三方讨论或安装量数据(母仓库 Stars/Forks 为整个合集共享的数字,不代表本子技能个体热度) |
| 可用性 | 8 | 单个 SKILL.md 加两个 Python 脚本即为完整安装单元,需额外 pip install requests pyyaml rich(另有 garak/promptfoo/modelscan 等可选增强工具,非必需);正文含完整的威胁建模表、测试分类法与结构化输出报告模板;该子目录最近一次实质提交为 2026-06-23(v3.0.0 大版本更新),距今约 6.5 周 |
| 安全性 | 8 | prompt_injection_tester.py 含真实 requests.post 调用,但目标为命令行 --url 参数指定的授权端点,正文开篇即有“仅测试已获书面授权系统”的声明;model_supply_chain.py 经逐行静态扫描确认无网络/subprocess/eval 调用;MIT 许可证明确 |
综合评分:7.0(三项均值)
安全检查清单:
① frontmatter 未显式声明 allowed-tools;prompt_injection_tester.py 需要 shell 执行权限运行,但用途仅限于对用户指定端点发起 HTTP 测试请求,无更广的系统权限索取
② prompt_injection_tester.py 联网,但外发目标由使用者在命令行显式传入,非硬编码地址;model_supply_chain.py 不联网
③ 正文提及“目标 LLM 端点的 API key(仅限测试环境)“由使用者自行准备并传入,技能本身不索取或存储凭据
④ 全文未见可疑指令、混淆代码或隐蔽外发;开篇即有授权范围声明
⑤ 作者为个人开发者,信誉一般,无主动造假迹象
⑥ MIT 许可证明确
⑦ 该子目录最近一次实质提交 2026-06-23,距今约 6.5 周,维护属近期
7. 跟同类 Skills 相比的优势
| 技能 | 定位 | 与本技能的差异 |
|---|---|---|
| llm-security-semgrep-skills(Semgrep 官方) | 检测到项目导入 openai/anthropic/langchain 等库时自动介入,在编码期把 OWASP LLM 十类风险转成应主动遵循的防护规则,纯 Markdown 无需执行 |
定位是写代码时的被动护栏,防止写出漏洞;本技能是部署后的主动测试工具,含可运行的提示注入测试脚本与模型文件扫描器,面向已上线系统做验证性测试而非编码期预防 |
| agentic-top-10(UnitOneAI 官方合集子技能) | 全文仅用 Read/Grep/Glob 三个只读工具,对 agent 系统的架构与代码做静态安全评审,附真实 CVE 案例引用 |
只读架构评审,不执行任何测试;本技能需要真实运行提示注入语料库或扫描模型文件,产出的是实测发现而非架构审查意见,两者可先后使用(先评审设计,再实测验证) |
三者共同覆盖 LLM 应用安全的不同阶段:编码期护栏(Semgrep)、上线前架构评审(agentic-top-10)、上线后主动测试(本技能)。
8. 用户评价
该技能目前在第三方平台尚无具名用户评价。
9. 其他补充
仓库同时提供 19 个同风格的安全技能,覆盖侦察、漏洞扫描、渗透测试、逆向工程、恶意软件分析、威胁狩猎、事件响应、网络安全、Web 安全、云安全、SOC 自动化、日志分析、密码学、红队、蓝队、移动安全、工控安全、GRC 合规等领域;16-ai-llm-security 正文注明与“Skill 09 Web 安全”“Skill 10 云安全”“Skill 12 日志分析”“Skill 02 依赖扫描”“Skill 14 红队”为相邻配套技能,测试对象涉及对应领域时应转向相应技能。
10. 安装使用方式
Claude Code(全局安装)
git clone https://github.com/Masriyan/Claude-Code-CyberSecurity-Skill.git
mkdir -p ~/.claude/skills
cp -r Claude-Code-CyberSecurity-Skill/skills/16-ai-llm-security ~/.claude/skills/
pip install requests pyyaml rich
安装后可通过自然语言触发(如“帮我做一次提示注入测试”)或直接调用脚本:
python scripts/prompt_injection_tester.py --url https://your-app.test/api/chat --field message --output results.json
python scripts/model_supply_chain.py --path ./models/ --recursive --output scan.json
其他宿主(Codex/OpenClaw 等):将对应 agent 指向 16-ai-llm-security/SKILL.md 文件路径手动加载,具体挂载方式需自行核实,仓库文档未提供官方指引。
安装后无需重启,首次调用即可生效;无付费依赖(garak/promptfoo/modelscan 为可选增强工具),脚本运行环境需 Python 3.10+。
11. 注意事项
prompt_injection_tester.py会向命令行参数指定的地址发起真实 HTTP 请求,使用前务必确认目标系统已获得书面授权,避免触及第三方服务条款或当地法律。- frontmatter 未声明
allowed-tools,实际权限范围取决于宿主 Agent 会话的工具授权,建议安装后自行核实工具调用范围。 - 该子技能背后的母仓库尚缺乏长期维护记录与外部社区反馈,建议持续关注后续版本更新。