external-cannbot-model-model-infer-graph-mode

Installation
SKILL.md

图模式适配优化技能

提供 npugraph_ex 和 GE 两种图模式的适配指南,覆盖方案设计、图中断修复、FA 参数配置和验证测试。


重要原则

  • 前置条件:模型必须在 NPU 上运行且已导入 torch_npu
  • 图模式仅适用于 Decode 阶段:Prefill 阶段输入长度动态变化,不适合图模式,保持 eager 执行
  • 保持模型完整性:不为适配图模式而简化模型逻辑
  • NPU 不支持的后端aot_eagerinductorcudagraphs 等不可用
  • 固定 tensor 图外预创建:atten_mask、KV cache 等推理全程不变的 tensor 在图外预创建,用 torch._dynamo.mark_static() 标记
  • LLM Decode 重编译注意kv_len/actual_seq_lengths_kv 每步变化,npugraph_ex 可能触发重编译,遇到 hit recompile_limit 参考重编译解决方案排查
  • 精度问题调试:遇到精度问题可调用 model-infer-precision-debug skill 进行排查

工作流程

Installs
2
GitHub Stars
143
First Seen
May 19, 2026
external-cannbot-model-model-infer-graph-mode — ascend-ai-coding/awesome-ascend-skills