research-experiment
Installation
SKILL.md
实验设计与诊断
改进方法 = 对 idea 做 SGD。 目标函数 || Experiment(idea) − Target result ||,
"分析实验为什么不 work" 就是求梯度。
由此得到唯一的效率判据:每次循环是否产出了一条经过验证的本质技术原因。
没有 → 这次循环的梯度是随机的,下一次改动等于掷骰子。
失败的实验不是浪费——它排除了一条路径,前提是那条路径被写下来了
(落进 experiments/LOG.md,见 research-project)。
一、设计实验
核心原则:减少 exploration points
一次实验里的未知量越多,结果越不可归因。两种分解,通常同时用:
| 分解 pipeline | 分解实验设置 |
|---|---|
| 把 idea 拆成组件,从可控的部分开始,逐步加入探索性模块 | 从简单 setting 开始,逐渐增加难度,最后进入真正的 setting |