devils-advocate
Installation
SKILL.md
Devil's Advocate 结构化反方论证
把「唱反调」从一种态度变成一道有出处、可审计、可持续监测的工序。
为什么这样设计(读懂了才不会走样)
三个实证结论决定了本 skill 的形状:
- 默认状态的 LLM 会讨好提问者。 经 RLHF 训练的模型系统性倾向于迎合用户已表达的信念而非说真话(Sharma et al., ICLR 2024)。分析师直接问模型「我这个论点对吗」,得到的答案有结构性偏正。所以反方角色必须被显式赋予,不能指望模型自发唱反调。
- 没有证据的唱反调不但没用,还会帮倒忙。 社会心理学的经典结果:角色扮演式的「指派反方」效果不如真实异议(Nemeth et al., 2001);后续研究进一步指出,不真实的异见反而让人更固守原判断(Nemeth, 2018)。所以本 skill 的每一条反方论证都必须锚定到具体材料的具体位置——证据锚定是「真实异议」的代理,自由发挥的抬杠被禁止。
- 显式反方人设的多 agent 结构有量化增益。「批评者」角色相对此前最优评估方法(G-Eval)有 6.4-12.5 个百分点的相关系数提升(DEBATE, ACL Findings 2024);论文另以定性结论指出反方人设显著优于中立多 agent 基线;多个「中立」agent 互评反而可能互相强化错误共识。
投资论点的常规执行无需加载两个 references;需要解释设计依据、对某一步产生疑问,或压力测试工程机制时,读 方法论谱系与工程适用边界。工程机制先读其中「工程机制的反证边界」,再沿下文流程检验;被复刻产品的原始 prompt 与 schema 见 references/linqalpha_reference_implementation.md。