external-cannbot-model-model-infer-fusion

Installation
SKILL.md

torch_npu 融合算子优化技能

分析 PyTorch 模型代码中的计算模式,匹配 torch_npu 融合算子进行替换优化。基于 torch_npu 本地 docstring 查询脚本(scripts/torch_npu_query.py)和仓库已有模型的融合算子使用经验,按模块逐一分析、匹配、替换、验证。


工作流程

第一步:分析模型代码,拆解模块

分析模型代码,输出模块清单。

拆解网络结构:识别顶层结构(Embedding → Transformer Blocks → LM Head),拆解每个 Block 为独立模块:

  • Attention 层:Norm → QKV 投影 → RoPE → KV Cache → Flash Attention → O 投影(MLA 含 V absorb)
  • MoE / FFN 层:Norm → Gate → 路由分发 → 专家计算 → 聚合
  • 其他模块:Embedding、LM Head、跨层残差等
Installs
2
GitHub Stars
143
First Seen
May 19, 2026
external-cannbot-model-model-infer-fusion — ascend-ai-coding/awesome-ascend-skills