1. 基本信息
| 项目 | 内容 |
|---|---|
| 名称 | arize-evaluator（合集仓库 Arize-ai/arize-skills 子技能） |
| 作者/维护者 | Arize AI（官方，LLM 可观测性平台厂商） |
| 来源链接 | https://github.com/Arize-ai/arize-skills/tree/main/skills/arize-evaluator |
| 许可证 | MIT（GitHub API 核实） |
| GitHub Stars | 40（整仓库，GitHub API；合集仓库星数不代表本子技能个体热度） |
| Forks | 7（整仓库，GitHub API） |
| 最新版本 | v1.2.0（2026-07-30 发布，release-please 自动发版，整仓库统一版本号） |
| 安装方式 | npx skills add / git clone + install.sh / ax CLI（ax skills install）/ Claude Code 插件市场 |
2. 功能介绍与亮点
指导 agent 在 Arize 平台上设计、创建并运行“评估器”（evaluator）——包括 LLM-as-judge（用另一个模型当裁判）与确定性代码评估器两类，覆盖对生产 trace（span/trace/session 三种粒度）以及实验运行结果打分。核心工作流分两条：① 针对项目里的实时流量，从真实 span 数据反推该建什么类型的评估器（幻觉、正确性、相关性等），生成裁判提示词模板，再建“任务”把模板变量映射到具体字段路径，支持先小批量回填验证、再开持续监控；② 针对实验/数据集的对比运行，从实验结果反推列映射并打分。亮点：内置严格的“防伪造”约束——若评估任务失败或无结果，明令 agent 不得凭空编造分数、不得冒充人工评估结果，而是引导用户排查凭据、时间窗口或列映射问题；针对代码评估器还专门收录了“导入路径写错导致任务静默 0/0/0 取消”等真实踩坑案例与对应故障排查表。
3. 适用场景
固定分类：工程效率与代码质量。典型场景：AI 应用/agent 开发团队需要给生产环境的 LLM 输出建立可持续运行的质量打分机制（如幻觉检测、任务正确性判断），或者在做提示词/模型迭代时需要用统一的评估器对新旧版本实验结果做量化对比，避免仅凭人工抽查判断效果好坏。
4. 跨 Agent 兼容性
- Claude Code：✅ 原生支持——README 明确列出，且提供专门的
/plugin marketplace add Arize-ai/arize-skills安装路径 - Codex：✅ 原生支持——README 明确列为受支持 agent 之一
- OpenClaw：⚠️ 需通过通用安装器——Arize 官方文档未点名 OpenClaw，但推荐的
npx skills add安装器（vercel-labs/skills）官方支持列表明确列出 OpenClaw，会自动放入其skills/目录；技能内容为标准 SKILL.md 格式，不含 Claude 专有依赖 - Hermes Agent：⚠️ 需通过通用安装器——同上，安装器官方列表列出 Hermes Agent（放入
.hermes/skills/），Arize 未单独测试确认
5. 推荐理由
它把“给 LLM 输出建评估机制”这件事从临时写脚本、人工抽查，变成一套结构化、可复用、可持续监控的标准流程，且专门针对“评估结果被凭空编造”这个 agent 场景下的真实风险做了明确约束，同时把生产环境里踩过的坑（列映射错误、时间窗口错位、代码评估器签名不对）沉淀成了可查的故障排查表。
6. 评分
| 维度 | 分数 | 说明 |
|---|---|---|
| 受欢迎程度 | 7 | 合集仓库星数不计入个体评分；子目录自身在 2026-03～2026-07 间有 5 次专属提交（含 4 位不同具名贡献者，其中包含公司联合创始人本人提交的初版），另有 1 个同方向的关联 PR（新增 align-evaluator 子技能）仍在推进中，显示该方向持续有人投入；未发现独立于 Arize 官方渠道之外的第三方讨论 |
| 可用性 | 8 | 四条官方安装路径任选其一即可用；需配置 Arize API Key 与模型供应商凭据（均有对应的凭据管理子命令，非手工粘贴）；SKILL.md 文档详尽，含分步工作流、字段映射对照表、17 条故障排查条目；最近一次专属提交为 2026-07-22 |
| 安全性 | 8 | 见下方检查清单 |
安全检查清单：
① shell 命令执行——调用 ax CLI 创建/查询评估器与任务，范围明确且与技能声明目的一致
② 联网外发——span/实验数据发往用户自己的 Arize 工作区，评估环节调用用户自行配置的模型供应商 API（OpenAI/Anthropic 等），均为完成任务所必需且对用户透明
③ 凭据存储——Arize 密钥经 ax profiles 管理，模型供应商密钥经 ax ai-integrations 管理，SKILL.md 明文写“绝不读取 .env 文件或在文件系统中搜索凭据，绝不要求用户把密钥粘贴进对话”
④ 无可疑指令——通读全文未发现混淆代码或隐蔽外发，反而有明确的“绝不伪造评估结果”约束，属于降低风险的设计
⑤ 作者信誉——Arize AI 为知名 LLM 可观测性厂商，仓库由公司团队成员持续维护，初版提交来自公司联合创始人
⑥ License——MIT，明确
⑦ 最近维护——子技能专属提交最近一次为 2026-07-22，整仓库最近发版 2026-07-30，维护活跃
7. 跟同类 Skills 相比的优势
| 竞品 | 定位 | 差异 |
|---|---|---|
| Ragas（开源 RAG/LLM 评估框架） | Python 库形式，需要写代码定义评估指标并接入 CI 流水线 | 更偏工程集成，需要开发者自行搭建运行环境与结果存储；本技能是即用型 agent 指令，评估结果直接落在 Arize 平台的 trace/实验界面中可视化查看 |
| promptfoo（开源提示词评估 CLI） | YAML 配置驱动的本地化批量测试工具，可离线运行 | 无需云端账号，适合快速本地对比；但缺少对接生产真实流量做持续监控的能力，评估更偏“跑一次拿结果”而非常驻打分 |
| LangSmith Evaluators（LangChain 官方平台） | 网页 UI 驱动的评估器配置与实验对比，深度绑定 LangChain/LangGraph 技术栈 | 功能更偏可视化交互式操作；本技能是 agent 可直接调用的命令行工作流，且不要求应用必须基于 LangChain 构建 |
8. 用户评价
该技能目前在第三方平台尚无具名用户评价。
9. 其他补充
仓库同时提供 arize-dataset（数据集管理）、arize-experiment（用同一批测试样例跑新旧版本对比实验）、arize-prompts（Prompt Hub 模板管理）等关联子技能，常见组合是：先用 arize-experiment 跑新旧版本对比，再用本技能对实验结果或生产 trace 打分，量化判断是否有提升或回归。
10. 安装使用方式
- 推荐：
npx skills add Arize-ai/arize-skills --skill arize-evaluator（自动识别当前 agent） - Claude Code 插件市场：
/plugin marketplace add Arize-ai/arize-skills后/plugin install arize-skills@arize-skills - 已装
axCLI（v0.9.0+）：ax skills install - git clone 后运行
./install.sh --project <项目目录>（Windows 对应install.ps1） - 使用前需
ax profiles create配置 Arize API Key（从 app.arize.com/admin 获取），并配置ax ai-integrations接入所需的模型供应商凭据（用作 LLM-as-judge 的裁判模型）
11. 注意事项
- 依赖 Arize 云端账号（有免费层，25k span/月），完全离线场景需另找方案
- 评估索引相对主追踪存储有 1～2 小时延迟，首次回填测试若把时间窗口设到“当前时刻”附近容易出现“运行成功但打分 0 条”的误判，需按文档建议把窗口留出缓冲
- 自定义代码评估器对导入路径与函数签名要求严格，写错会导致任务静默失败（0/0/0），需按文档指定的基类与命名参数编写