pytorch-perf-tuning

Installation
SKILL.md

PyTorch 算法迭代加速:够用即收口

遵循 goal-first:主线是算法结论,性能优化用于减少等待。去重、batch、grouped、融合核、流水线是按需手段,不是每个项目都要走完的毕业清单;先达到研究需要就停,不因仍有优化空间而延长任务。

0. 边界与成功标准

  • 成功标准:已知明显浪费得到处理,正确性/复现通过,实际等待能支持当前研究节奏;不设统一利用率、功率或加速倍数门槛。
  • 默认只改执行路径;模型结构、dtype、样本、评分协议保持,浮点差异按预定容差判断。
  • batch/padding/定标/算法变化单独对照;伪量化换真量化或整数 kernel 是数值与部署语义变化,不能冒充同口径加速。
  • 同阶段联合记录:有效吞吐/host耗时、设备忙碌度、功率、设备内存及 allocated/reserved 峰值;局部算子另用 Event。指标定义、窗口和设备映射一并保留。
  • 按剩余运行次数×单次可节省时间,粗估是否值得投入开发、验收、维护与注意力;加载、逐配置准备/编译也计入。给短预算,深度引擎/工具研发另设目标。

1. 拆时间:不要猜

Installs
1
GitHub Stars
11
First Seen
9 days ago