1. 基本信息
| 项目 | 内容 |
|---|---|
| 名称 | automate-this-github-awesome-copilot |
| 作者/维护者 | dvelton(GitHub 员工账号);PR #930 于 2026-03-09 合入合集仓库 github/awesome-copilot |
| 来源链接 | https://github.com/github/awesome-copilot/tree/main/skills/automate-this |
| 许可证 | MIT(继承合集仓库许可证,来自 GitHub API) |
| GitHub Stars | 合集仓库整体 39,983(来自 GitHub API);该数字属整个合集,不代表本技能自身热度 |
| Forks | 合集仓库整体 5,116(来自 GitHub API) |
| 最新版本 | 无版本号;子目录最近一次提交为 2026-03-09(来自 GitHub API commits),SKILL.md 约 12 KB |
| 安装方式 | npx skills add https://github.com/github/awesome-copilot --skill automate-this,或复制 skills/automate-this/ 到目标 agent 的 skills 目录 |
2. 功能介绍与亮点
你把“自己手工做一遍某件重复事”的屏幕录像交给 agent,它反推出流程并写出能跑的自动化脚本。
- 抽帧 + 听旁白:用 ffmpeg 每 2 秒抽一帧(超过 5 分钟的录像放宽到 4 秒),有声音时用 Whisper 转写,旁白里的“这步最烦”会被当作痛点线索。
- 先复述再动手:把还原出的步骤编号列给你确认,确认前不提方案,避免理解错了写出没用的脚本。
- 按你机器上已有的工具出方案:先探测系统、shell、Python/Node、curl、osascript 等,再给最多三档方案:5 分钟内的快捷小招、30 分钟内的完整脚本、带定时与日志的全自动版。
- 按应用类型给策略:浏览器优先找 API 而非模拟点击,表格用 pandas,邮件用 osascript 或 smtplib,文件用 shell;每档方案都带干跑方式、测试步骤和撤销办法。
- 善后:临时目录权限 0700,结束后删除抽出的帧与音频。
3. 适用场景
所属分类:集成与工作流自动化(把跨应用的手工流程变成脚本)。
适合:每周重复导出报表、整理表格再发邮件的运营与行政人员;会点鼠标但不知道怎么写脚本的初中级用户;想把一段重复终端操作固化成命令的开发者。
4. 跨 Agent 兼容性
| Agent | 结论 | 依据 |
|---|---|---|
| Claude Code | 原生支持 ✅ | 标准 SKILL.md(name/description),只用 shell 与读图能力 |
| Codex | 需手动引用 ⚠️ | Codex 不会自动扫描 ~/.codex/skills,需在对话中指明技能路径;需能读图,沙箱里还要有 ffmpeg |
| OpenClaw | 未验证 ❓ | 格式为通用 Agent Skills,未找到 OpenClaw 上的实测记录 |
| Hermes Agent | 原生支持 ✅ | Hermes 按路径扫描子目录探测 SKILL.md,可直接发现 |
5. 推荐理由
“想自动化但说不清步骤”是普通用户最大的门槛。这个技能把门槛换成“录一遍屏”:agent 从画面和旁白里还原流程、确认后再出分档方案,并且守住干跑、不硬编码密码、保留人工审批点这些底线,产出的是可直接运行的脚本而不是建议清单。
6. 评分
| 维度 | 分数 | 说明 |
|---|---|---|
| 受欢迎程度 | 7 | skills.sh 显示装机约 2.3K 次;合集仓库约 4 万 stars(属整个合集)。未检索到具名用户的公开评价 |
| 可用性 | 7 | 五个阶段、代码与格式模板完整,无需密钥;需自备 ffmpeg,有旁白时还需 Whisper;子目录自 2026-03-09 后未再更新 |
| 安全性 | 8 | 只执行 ffmpeg/ffprobe 与环境探测命令,不外发数据、无凭据要求;录屏画面会送入模型,可能含屏幕上的敏感信息 |
安全检查清单:① 执行 shell,范围限于抽帧、转写与只读环境探测,临时目录 0700 并在结束后删除 ✅;② 技能本身不联网,但抽出的帧会交给模型读取,录像里的账号、邮件、客户数据会被看到 ⚠️(扣分点);③ 不要求 API key,并明确要求脚本不得硬编码凭据、改用环境变量或钥匙串 ✅;④ 未发现可疑指令或夹带推广 ✅;⑤ 作者为 GitHub 员工账号,合入经合集维护者审核 ✅;⑥ MIT 明确 ✅;⑦ 合集仓库近日仍活跃,本技能自身较久未改动,属提示词类,影响有限 ✅。
综合评分:7.33(三项均值)
7. 跟同类 Skills 相比的优势
| 方案 | 核心定位 | 与本技能的差异 |
|---|---|---|
| Playwright codegen | 录制浏览器操作并生成测试/脚本代码 | 只覆盖浏览器内的点击;本技能能看懂跨应用的录屏(浏览器、表格、邮件、终端)并选择更稳的 API 路线 |
| Power Automate Desktop 等 RPA 录制器 | 录制点击轨迹并回放 | 产出绑定在平台上、界面一变就断;本技能产出可读、可改的普通脚本,并给分档方案 |
| 直接向模型描述流程 | 靠文字口述 | 容易漏步骤和判断点;录屏加旁白能还原重复次数与痛点位置,并在动手前让你核对 |
差异化:从“录屏”这个最低门槛的输入出发,输出带干跑和撤销办法的脚本;代价是只能看到画面,看不到屏幕外的口头规则与权限。
8. 用户评价
该技能目前在第三方平台尚无具名用户评价。
9. 其他补充
- 提议按用户环境裁剪:终端熟练者给 shell 方案,只会点界面的用户给双击即可运行的脚本。
- 估算节省时间时要求用“录像时长 × 频次”算出具体数字。
10. 安装使用方式
- 通用方式(跨 agent):
npx skills add https://github.com/github/awesome-copilot --skill automate-this - 手动安装:把仓库
skills/automate-this/复制到目标 agent 的 skills 目录(如 Claude Code 的~/.claude/skills/) - 前置:
brew install ffmpeg(macOS);有旁白时可选pip install openai-whisper或brew install whisper-cpp - 使用:录一段屏,对话中说“帮我把这段录屏里的流程自动化:~/Desktop/xxx.mov”
11. 注意事项
- 录像中出现的密码、客户信息会被模型读到,录制前先关掉无关窗口与通知;
- 抽帧按固定间隔,快速一闪而过的弹窗可能漏掉,复述确认环节务必认真核对;
- 旁白转写默认按英文(
--language en)调用 Whisper,中文旁白需自行改参数; - 方案里的浏览器自动化对网页改版敏感,优先采纳 API 路线。