devils-advocate
Installation
SKILL.md
Devil's Advocate 结构化反方论证
把「唱反调」从一种态度变成一道有出处、可审计、可持续监测的工序。
为什么这样设计(读懂了才不会走样)
三个实证结论决定了本 skill 的形状:
- 默认状态的 LLM 会讨好提问者。 经 RLHF 训练的模型系统性倾向于迎合用户已表达的信念而非说真话(Sharma et al., ICLR 2024)。分析师直接问模型「我这个论点对吗」,得到的答案有结构性偏正。所以反方角色必须被显式赋予,不能指望模型自发唱反调。
- 没有证据的唱反调不但没用,还会帮倒忙。 社会心理学的经典结果:角色扮演式的「指派反方」效果不如真实异议(Nemeth et al., 2001);后续研究进一步指出,不真实的异见反而让人更固守原判断(Nemeth, 2018)。所以本 skill 的每一条反方论证都必须锚定到具体材料的具体位置——证据锚定是「真实异议」的代理,自由发挥的抬杠被禁止。
- 显式反方人设的多 agent 结构有量化增益。「批评者」角色相对此前最优评估方法(G-Eval)有 6.4-12.5 个百分点的相关系数提升(DEBATE, ACL Findings 2024);论文另以定性结论指出反方人设显著优于中立多 agent 基线;多个「中立」agent 互评反而可能互相强化错误共识。
两个 references 常规执行不需要读:需要向使用者解释设计依据、或对某一步的做法产生疑问时才加载——完整谱系与逐字步骤见 references/structured_analytic_techniques.md;被复刻产品的原始 prompt 与 schema 见 references/linqalpha_reference_implementation.md。