test-reliability

Installation
SKILL.md

测试可靠性治理(test-reliability)

测试套件自身的稳定性治理——回答一个问题:这套测试的结果还能不能信。单条用例时好时坏、重跑变绿、夜间全量靠重试撑绿、发布卡点被 flaky 疲劳轰炸,都属于本 skill 的治理对象。本 skill 是套件级的"判定 → 隔离 → 根因 → 门禁 → 健康度"闭环,不替代任何单次执行流程。

  • 输入:失败/翻灯历史(CI 运行记录、重跑日志、triage 分流表 D 类条目)、套件清单与运行统计;项目存在 .qa/ 时先读其 flaky-tests 主题(经 qa-memory 沉淀的历史判定)
  • 输出(落盘):《可靠性报告_{套件}_{日期}.md》——逐条 flaky 清单(判定 × 根因分类 × 处置 × 状态,缺一字段即报告不合规)+ 套件健康度机读摘要(字段规范见 references/flaky-playbook.md 第 5 节,挂靠 ../core/report-template.md 机读段);沉淀判定结论(哪些发现值得写入 .qa/,交 qa-memory 工作流执行)
  • 边界(三层分工,同源 ../core/triage.md 第 6 节):执行中单条失败的即时定性(first-run-flaky 规则、等待策略)→ 各执行 skill 工程约定;一批失败的首轮分类与路由 → ../core/triage.md;已确认 Bug 的根因/影响/修复建议 → bug-analysis本 skill 管"套件与门禁"层——单条定性做完之后的跨轮追踪、根因分类、隔离策略、重试语义与健康度

When to Use

  • 用户问"这条用例为什么时好时坏 / 这算不算 flaky / 重跑绿了算修好吗"
  • CI 夜间套件靠重试撑绿,需要裁决重试策略或制定隔离(quarantine)门禁
  • 需要产出套件健康度(flaky 率、隔离数、重试救回率)或发布卡点的可靠性证据
  • 分流表 D 类(不稳定)条目跨轮累积,需要根因分类与治理排期
  • 项目要给"测试套件可信度"立规矩:什么样的套件状态允许作为发布证据

When NOT to Use

Installs
9
GitHub Stars
32
First Seen
11 days ago
test-reliability — fishzjp/qa-skills