external-cannbot-model-model-infer-fusion
Installation
SKILL.md
torch_npu 融合算子优化技能
分析 PyTorch 模型代码中的计算模式,匹配 torch_npu 融合算子进行替换优化。基于 torch_npu 本地 docstring 查询脚本(scripts/torch_npu_query.py)和仓库已有模型的融合算子使用经验,按模块逐一分析、匹配、替换、验证。
工作流程
第一步:分析模型代码,拆解模块
分析模型代码,输出模块清单。
拆解网络结构:识别顶层结构(Embedding → Transformer Blocks → LM Head),拆解每个 Block 为独立模块:
- Attention 层:Norm → QKV 投影 → RoPE → KV Cache → Flash Attention → O 投影(MLA 含 V absorb)
- MoE / FFN 层:Norm → Gate → 路由分发 → 专家计算 → 聚合
- 其他模块:Embedding、LM Head、跨层残差等