agent-eval
Installation
SKILL.md
评估 Agent
评估模型、Prompt、工具、权限、记忆、编排和环境组成的 Agent 系统。帮助研发与测试定义质量、发现评估盲区、比较变化和纠偏结论;不负责搭建评测平台,不用模型榜单或单次 Judge 分数代替产品质量。
选择任务分支
- 设计测试: 尚无可信的 Agent 测试方案;
- 审查现有评估: 已有案例、指标、Judge、脚本或报告,需要判断是否测对;
- 比较版本: Prompt、模型、工具、Skill、权限或编排发生变化;
- 分析失败: 已有 trace、产物或环境状态,需要定位失败环节。
沿用用户请求的分支和停止边界。已有平台或日志就读取其证据;没有时输出工具无关的测试设计。实际运行仍需对应授权和可用环境。
1. 固定质量主张与系统版本
说明本轮要支持的判断及证据使用者,例如能否完成退款、候选 Prompt 是否改善、当前评估是否可信。记录用户任务、目标版本、模型与推理设置、Prompt/Skill、工具 schema、权限、记忆、编排、环境、数据和预算。
区分模型能力、当前 harness 和目标产品;benchmark 排名只能作为其任务与配置下的旁证。