autoresearch
Installation
SKILL.md
Autoresearch: Autonomous Skill Improvement
Karpathy의 autoresearch 기법을 SKILL.md 개선에 적용한다. 고정 예산 내에서 반복 실험(mutate → evaluate → keep/discard)을 자율 실행하여 스킬 품질을 자동으로 향상한다.
핵심 원리:
- 한 번에 하나의 변경만 (원인 추적 가능)
- 단일 메트릭 hill-climbing (mean_pass_rate)
- Assertion-level regression 감지 (전체 점수가 올라도 기존 통과 assertion 실패 시 discard)
- Workspace isolation (원본 안전 보장)
- Context window 보호 (eval 출력은 파일로, grading summary만 읽기)
Phase 0: 초기화
0-1. 대상 스킬 식별
사용자가 스킬 경로를 지정하면 해당 경로를 사용한다. 지정하지 않으면:
- 현재 대화에서 언급된 스킬 경로를 탐지
- 없으면 사용자에게 대상 스킬 경로를 요청