external-cannbot-model-model-infer-graph-mode
Installation
SKILL.md
图模式适配优化技能
提供 npugraph_ex 和 GE 两种图模式的适配指南,覆盖方案设计、图中断修复、FA 参数配置和验证测试。
重要原则
- 前置条件:模型必须在 NPU 上运行且已导入
torch_npu - 图模式仅适用于 Decode 阶段:Prefill 阶段输入长度动态变化,不适合图模式,保持 eager 执行
- 保持模型完整性:不为适配图模式而简化模型逻辑
- NPU 不支持的后端:
aot_eager、inductor、cudagraphs等不可用 - 固定 tensor 图外预创建:atten_mask、KV cache 等推理全程不变的 tensor 在图外预创建,用
torch._dynamo.mark_static()标记 - LLM Decode 重编译注意:
kv_len/actual_seq_lengths_kv每步变化,npugraph_ex 可能触发重编译,遇到hit recompile_limit参考重编译解决方案排查 - 精度问题调试:遇到精度问题可调用
model-infer-precision-debugskill 进行排查