agent-eval

Installation
SKILL.md

评估 Agent

评估模型、Prompt、工具、权限、记忆、编排和环境组成的 Agent 系统。帮助研发与测试定义质量、发现评估盲区、比较变化和纠偏结论;不负责搭建评测平台,不用模型榜单或单次 Judge 分数代替产品质量。

选择任务分支

  • 设计测试: 尚无可信的 Agent 测试方案;
  • 审查现有评估: 已有案例、指标、Judge、脚本或报告,需要判断是否测对;
  • 比较版本: Prompt、模型、工具、Skill、权限或编排发生变化;
  • 分析失败: 已有 trace、产物或环境状态,需要定位失败环节。

沿用用户请求的分支和停止边界。已有平台或日志就读取其证据;没有时输出工具无关的测试设计。实际运行仍需对应授权和可用环境。

1. 固定质量主张与系统版本

说明本轮要支持的判断及证据使用者,例如能否完成退款、候选 Prompt 是否改善、当前评估是否可信。记录用户任务、目标版本、模型与推理设置、Prompt/Skill、工具 schema、权限、记忆、编排、环境、数据和预算。

区分模型能力、当前 harness 和目标产品;benchmark 排名只能作为其任务与配置下的旁证。

Installs
10
GitHub Stars
2
First Seen
Sep 18, 2026