1. 基本信息
| 项目 | 内容 |
|---|---|
| 名称 | agentic-eval-github-awesome-copilot |
| 作者/维护者 | Hashwanth Sutharapu(提交者),归属合集仓库 github/awesome-copilot |
| 来源链接 | https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval |
| 许可证 | MIT(继承合集仓库许可证,来自 GitHub API) |
| GitHub Stars | 合集仓库整体 39,460(来自 GitHub API);该数字属整个合集,不代表本技能自身热度 |
| Forks | 合集仓库整体 5,015(来自 GitHub API) |
| 最新版本 | 无独立版本号;技能文件自 2026-01-19 加入后未再变更(来自 GitHub API commits) |
| 安装方式 | npx skills add https://github.com/github/awesome-copilot --skill agentic-eval,或复制 skills/agentic-eval/ 到目标 agent 的 skills 目录 |
2. 功能介绍与亮点
该技能是一份“让 agent 输出越改越好”的模式手册,核心是 Generate → Evaluate → Critique → Refine → Output 的迭代回路,给出三种可直接套用的实现:
- 基本反思(Basic Reflection):agent 按预设标准对自己的输出逐条打 PASS/FAIL 并给出反馈,再据此重写,直到全部通过或达到迭代上限。
- 评估者-优化者(Evaluator-Optimizer):把生成、评估、优化拆成三个独立组件,用 0–1 分数与分数阈值决定是否继续迭代。
- 代码专用反思:先生成代码与测试,跑测试,把报错回灌给模型修复,形成测试驱动的修复循环。
另附三种评估策略(结果导向、LLM-as-Judge 两两比较、带权重的评分表)、一张最佳实践表(明确标准、限制迭代 3–5 轮、收敛检测、记录全程轨迹、结构化 JSON 输出)和一份落地清单。全文约 6KB,只含说明与 Python 示意代码,没有可执行脚本。
3. 适用场景
所属分类:元技能与 Agent 增强(agent 自身的输出自检、评测与迭代改进)。
适合正在给 agent 加“自我批评—修改”环节的开发者:让 agent 写代码、报告、分析时按明确标准自评并迭代;搭建评估者-优化者流水线;设计评分表或 LLM-as-Judge 式的质量评测。前提是任务有可写下来的成功标准,标准模糊时收益有限。
4. 跨 Agent 兼容性
| Agent | 结论 | 依据 |
|---|---|---|
| Claude Code | 原生支持 ✅ | 标准 Agent Skills 格式(YAML front matter + 指令正文),放入 ~/.claude/skills/ 即可被发现,无特殊依赖 |
| Codex | 需手动引用 ⚠️ | Codex 不会自动扫描 ~/.codex/skills 目录,需在对话中手动指明技能路径 |
| OpenClaw | 原生支持 ✅ | 与 Claude Code 同源的 Agent Skills 规范,纯 Markdown 无平台专有语法 |
| Hermes Agent | 原生支持 ✅ | Hermes 按路径扫描子目录探测 SKILL.md,能直接发现该技能 |
5. 推荐理由
“让模型自己检查再改一遍”人人都听过,难的是回路怎么搭才不失控。这份手册把关键护栏写得很直白:迭代次数上限、分数不再提升就停、评估结果强制结构化输出、全程留痕。三个模式都足够短,能在一个下午内照着搭出原型;对刚开始给 agent 加质量闭环的初中级用户,是低成本的入门参照。
6. 评分
| 维度 | 分数 | 说明 |
|---|---|---|
| 受欢迎程度 | 7 | skills.sh 显示装机约 10.3K 次,自 2026-01-23 上架;另有多家技能聚合站收录。未检索到具名用户的公开评价 |
| 可用性 | 7 | 结构清晰、含可运行思路的示例与检查清单,无付费依赖;但示例是示意代码(llm()、run_tests() 需自行实现),没有脚本或配置模板,且自 2026-01-19 起未再更新(约 8 个月) |
| 安全性 | 9 | 纯提示词/文档类,无脚本、无网络外联、无凭据要求;skills.sh 上 Gen Agent Trust Hub、Socket、Snyk 三项审计均为 PASS;许可证明确(MIT) |
安全检查清单:① 不执行 shell 命令,示例代码仅作说明 ✅;② 无运行时联网 ✅;③ 无 API key 要求 ✅;④ 未发现可疑指令 ✅;⑤ 归属 GitHub 官方合集仓库,作者为个人贡献者 ✅;⑥ MIT ✅;⑦ 最近变更 2026-01-19,为静态文档,弃置风险低 ✅。
综合评分:7.67(三项均值)
7. 跟同类 Skills 相比的优势
| 技能 | 核心定位 | 与本技能的差异 |
|---|---|---|
| langchain-ai/langchain-skills 的 eval-engineering | LangChain 官方的评测流水线技能,围绕 Harbor 设计可重复回归评测 | 绑定 LangChain 生态与其评测框架;本技能与框架无关,讲的是通用的自评—改进回路 |
| promptfoo 的 promptfoo-evals | promptfoo 官方技能,引导生成 LLM 评测配置与断言 | 面向离线批量评测与回归;本技能面向运行时的迭代改进回路 |
| Arize 的 arize-evaluator | Arize 平台的评估器构建工作流 | 依赖 Arize 可观测平台;本技能不依赖任何平台 |
差异化:不绑定框架或平台,篇幅小、可直接抄进自己的代码;代价是没有工具链与脚本,只是模式说明。
8. 用户评价
该技能目前在第三方平台尚无具名用户评价。
9. 其他补充
该技能已通过三家第三方安全审计平台(Gen Agent Trust Hub、Socket、Snyk)的扫描,结果均为 PASS(数据来自 skills.sh 技能详情页)。
10. 安装使用方式
- 通用方式(跨 agent):
npx skills add https://github.com/github/awesome-copilot --skill agentic-eval - 手动安装:从仓库
skills/agentic-eval/复制整个文件夹到目标 agent 的 skills 目录(如 Claude Code 的~/.claude/skills/) - 安装后无需重启;当请求涉及“自我批评/反思循环”“评估者-优化者”“LLM-as-Judge”“迭代改进输出质量”时会自动触发,也可在对话中直接点名该技能
11. 注意事项
- 示例代码是示意性质:
llm()、run_tests()等函数需按自己的模型调用与测试框架实现,直接复制无法运行; - 自评式迭代依赖清晰的成功标准,标准含糊时模型可能自我背书而无实质提升,须配合迭代上限与收敛检测;
- 技能文件自 2026-01-19 后未更新,未覆盖新近的评测实践;
- 在 Codex 中使用需手动引用技能路径,无法依赖自动发现。