AI 系统测试（ai-system-testing）

被测对象是 AI 功能（LLM 特性、prompt 行为、agent/工具调用、RAG 检索面）时的测试方法论。与传统测试的根本差异只有一个：输出不确定——同输入不同输出是常态，传统"期望值精确断言"大面积失效。本 skill 把不确定性本身作为被测对象：风险建模 → 可判定评测设计 → 容错断言 → judge 校准 → 回归与安全边界。

诚实条款：LLM 评测存在采样方差。任何评测结论（通过率、得分）必须带样本量与方差说明；n=1 的结论只能表述为观察，不得表述为达标。设计红线沿用 ../core/executability.md——评测任务同样要"可判定"，判分点不可判定 = 评测无效。

定位：本 skill 是被测域（SUT 是 AI 系统）的承接方，不是流水线的固定阶段——功能域十轴决策（../core/test-type-matrix.md）照常执行；AI 特有风险（不确定性 / 幻觉 / 注入 / 成本与延迟）由本 skill 补上。触发判据是被测对象含 AI 行为，不是任务里出现"测试"二字。

• 输入：AI 功能的需求/PRD、prompt（或系统提示词配置）、样本输出（真实或预录）、agent 工具调用记录（如适用）、检索语料边界（RAG，如适用）
• 输出（落盘）：{项目}/测试报告_AI评测_{日期}.md（功能名写入报告头 §1；用户/任务指定文件名时以其为准）——评测集 + rubric + 判分结果 + 方差披露节（样本量/通过率区间/已知盲区）；prompt 回归分析（工作流三）；注入面移交包（工作流五，交安全责任方）。报告格式与字段口径按 ../core/report-template.md（此时加载）。验收/回归结论一律以"证据 + 选项"呈现，通过/上线/定级的判定权在产品与安全责任方，不在测试
• 边界：传统确定性功能 → 各既有 skill（十轴决策）；prompt 的编写与优化本身 → 开发职责，本 skill 只测其行为；模型训练/微调 → 训练方；生产环境事故 → 运维/专项

When to Use

• 被测功能含 LLM 调用（生成、摘要、分类、抽取、翻译、代码生成等）或 prompt 驱动行为
• agent/工作流产品的工具调用正确性、循环与卡死面需要测试
• prompt（或模型版本、温度参数、检索语料）发生变更，需要回归测试
• 需要为 AI 功能设计评测集、判分 rubric 或验收标准
• 怀疑 AI 功能存在注入、越权、提示泄露等安全面风险