SkillsScout
META-AGENT / 元技能与 Agent 增强

agentic-eval-github-awesome-copilot

收录日期 2026-09-28·来源仓库 ↗
受欢迎程度
7
可用程度与相关性
7
安全性
9
7.7SCOUT SCORE

1. 基本信息

项目 内容
名称 agentic-eval-github-awesome-copilot
作者/维护者 Hashwanth Sutharapu(提交者),归属合集仓库 github/awesome-copilot
来源链接 https://github.com/github/awesome-copilot/tree/main/skills/agentic-eval
许可证 MIT(继承合集仓库许可证,来自 GitHub API)
GitHub Stars 合集仓库整体 39,460(来自 GitHub API);该数字属整个合集,不代表本技能自身热度
Forks 合集仓库整体 5,015(来自 GitHub API)
最新版本 无独立版本号;技能文件自 2026-01-19 加入后未再变更(来自 GitHub API commits)
安装方式 npx skills add https://github.com/github/awesome-copilot --skill agentic-eval,或复制 skills/agentic-eval/ 到目标 agent 的 skills 目录

2. 功能介绍与亮点

该技能是一份“让 agent 输出越改越好”的模式手册,核心是 Generate → Evaluate → Critique → Refine → Output 的迭代回路,给出三种可直接套用的实现:

另附三种评估策略(结果导向、LLM-as-Judge 两两比较、带权重的评分表)、一张最佳实践表(明确标准、限制迭代 3–5 轮、收敛检测、记录全程轨迹、结构化 JSON 输出)和一份落地清单。全文约 6KB,只含说明与 Python 示意代码,没有可执行脚本。

3. 适用场景

所属分类:元技能与 Agent 增强(agent 自身的输出自检、评测与迭代改进)。

适合正在给 agent 加“自我批评—修改”环节的开发者:让 agent 写代码、报告、分析时按明确标准自评并迭代;搭建评估者-优化者流水线;设计评分表或 LLM-as-Judge 式的质量评测。前提是任务有可写下来的成功标准,标准模糊时收益有限。

4. 跨 Agent 兼容性

Agent 结论 依据
Claude Code 原生支持 ✅ 标准 Agent Skills 格式(YAML front matter + 指令正文),放入 ~/.claude/skills/ 即可被发现,无特殊依赖
Codex 需手动引用 ⚠️ Codex 不会自动扫描 ~/.codex/skills 目录,需在对话中手动指明技能路径
OpenClaw 原生支持 ✅ 与 Claude Code 同源的 Agent Skills 规范,纯 Markdown 无平台专有语法
Hermes Agent 原生支持 ✅ Hermes 按路径扫描子目录探测 SKILL.md,能直接发现该技能

5. 推荐理由

“让模型自己检查再改一遍”人人都听过,难的是回路怎么搭才不失控。这份手册把关键护栏写得很直白:迭代次数上限、分数不再提升就停、评估结果强制结构化输出、全程留痕。三个模式都足够短,能在一个下午内照着搭出原型;对刚开始给 agent 加质量闭环的初中级用户,是低成本的入门参照。

6. 评分

维度 分数 说明
受欢迎程度 7 skills.sh 显示装机约 10.3K 次,自 2026-01-23 上架;另有多家技能聚合站收录。未检索到具名用户的公开评价
可用性 7 结构清晰、含可运行思路的示例与检查清单,无付费依赖;但示例是示意代码(llm()、run_tests() 需自行实现),没有脚本或配置模板,且自 2026-01-19 起未再更新(约 8 个月)
安全性 9 纯提示词/文档类,无脚本、无网络外联、无凭据要求;skills.sh 上 Gen Agent Trust Hub、Socket、Snyk 三项审计均为 PASS;许可证明确(MIT)

安全检查清单:① 不执行 shell 命令,示例代码仅作说明 ✅;② 无运行时联网 ✅;③ 无 API key 要求 ✅;④ 未发现可疑指令 ✅;⑤ 归属 GitHub 官方合集仓库,作者为个人贡献者 ✅;⑥ MIT ✅;⑦ 最近变更 2026-01-19,为静态文档,弃置风险低 ✅。

综合评分:7.67(三项均值)

7. 跟同类 Skills 相比的优势

技能 核心定位 与本技能的差异
langchain-ai/langchain-skills 的 eval-engineering LangChain 官方的评测流水线技能,围绕 Harbor 设计可重复回归评测 绑定 LangChain 生态与其评测框架;本技能与框架无关,讲的是通用的自评—改进回路
promptfoo 的 promptfoo-evals promptfoo 官方技能,引导生成 LLM 评测配置与断言 面向离线批量评测与回归;本技能面向运行时的迭代改进回路
Arize 的 arize-evaluator Arize 平台的评估器构建工作流 依赖 Arize 可观测平台;本技能不依赖任何平台

差异化:不绑定框架或平台,篇幅小、可直接抄进自己的代码;代价是没有工具链与脚本,只是模式说明。

8. 用户评价

该技能目前在第三方平台尚无具名用户评价。

9. 其他补充

该技能已通过三家第三方安全审计平台(Gen Agent Trust Hub、Socket、Snyk)的扫描,结果均为 PASS(数据来自 skills.sh 技能详情页)。

10. 安装使用方式

11. 注意事项