external-cannbot-model-model-infer-superkernel
Installation
SKILL.md
SuperKernel 适配技能
提供 SuperKernel 算子二进制融合技术的完整适配流程,包括模型分析、Scope 范围确定、代码实施和性能验证。
重要原则
- 前置条件:必须满足
exe_mode: "ge_graph"、Atlas A3 硬件、PyTorch 框架 - 仅 Decode 阶段生效:Prefill 阶段输入长度动态变化,SuperKernel 自动禁用
- 手动标记 Scope:需要使用
superkernel_scope上下文管理器标记融合范围 - 配置互斥:不支持
eager模式和aclgraph模式 - 先理解再行动:分析模型结构后再确定 Scope 范围,避免盲目复制其他模型配置
- 组合使用:SuperKernel 作为优化技术之一,可与其他优化技术(多流并行、融合算子等)组合使用