test-reliability
Installation
SKILL.md
测试可靠性治理(test-reliability)
测试套件自身的稳定性治理——回答一个问题:这套测试的结果还能不能信。单条用例时好时坏、重跑变绿、夜间全量靠重试撑绿、发布卡点被 flaky 疲劳轰炸,都属于本 skill 的治理对象。本 skill 是套件级的"判定 → 隔离 → 根因 → 门禁 → 健康度"闭环,不替代任何单次执行流程。
- 输入:失败/翻灯历史(CI 运行记录、重跑日志、triage 分流表 D 类条目)、套件清单与运行统计;项目存在
.qa/时先读其 flaky-tests 主题(经qa-memory沉淀的历史判定) - 输出(落盘):《可靠性报告_{套件}_{日期}.md》——逐条 flaky 清单(判定 × 根因分类 × 处置 × 状态,缺一字段即报告不合规)+ 套件健康度机读摘要(字段规范见
references/flaky-playbook.md第 5 节,挂靠../core/report-template.md机读段);沉淀判定结论(哪些发现值得写入.qa/,交qa-memory工作流执行) - 边界(三层分工,同源
../core/triage.md第 6 节):执行中单条失败的即时定性(first-run-flaky 规则、等待策略)→ 各执行 skill 工程约定;一批失败的首轮分类与路由 →../core/triage.md;已确认 Bug 的根因/影响/修复建议 →bug-analysis;本 skill 管"套件与门禁"层——单条定性做完之后的跨轮追踪、根因分类、隔离策略、重试语义与健康度
When to Use
- 用户问"这条用例为什么时好时坏 / 这算不算 flaky / 重跑绿了算修好吗"
- CI 夜间套件靠重试撑绿,需要裁决重试策略或制定隔离(quarantine)门禁
- 需要产出套件健康度(flaky 率、隔离数、重试救回率)或发布卡点的可靠性证据
- 分流表 D 类(不稳定)条目跨轮累积,需要根因分类与治理排期
- 项目要给"测试套件可信度"立规矩:什么样的套件状态允许作为发布证据