vulkan-optimize
MNN Vulkan 优化 Skill
触发:优化 Vulkan 端 kernel 性能(conv/gemm/gemv/attention/elementwise 等),新增算子,调度选路或 pack layout 调整,或集成 Vulkan 新特性(cooperative matrix、subgroup、扩展等)。
边界:不读不改
schema/private/、source/internal/。
核心原则
-
改
.comp必跑 makeshader。GLSL 源不会被构建系统直接编译;运行时读的是AllShader.h/cpp里由makeshader.py(.comp→glslangValidator -V→spirv-opt -O→xxd嵌入)生成的 SPIR-V 字节数组。每次改.comp后必须重生成并确认进二进制。最常见的"改了不生效"根因。⚠️ 但本机 glslang/spirv-opt 与仓库版本常不同,跑全量 makeshader 会重排/重编所有 shader 数组、污染AllShader.cpp——必须只外科式重生成改动的那几个数组(见「Shader 修改流程」+ 手册陷阱 A)。 -
dispatcher 选路要先摸清。Vulkan 同一个 op 常有多条 kernel:CoopMat(Adreno only)/ subgroup(Mali/Adreno)/ nosubgroup(兜底)/ FP gemm / 融合 vs 分离路径。改 kernel 前先读 host 选路代码,把目标 shape/dtype 代入确认落到哪一条。盲改经常发现根本没被调度。不要把 fallback(nosubgroup)路径性能当 baseline——它本身就慢。
-
packed weight 必须 packing/unpack 双向镜像。host weight prepare shader 写出的字节布局要和 decode shader 读取逐 bit 匹配,任何一边改动都要双边同步改(详见
optimization-handbook.md§4)。 -
正确性 oracle 先于性能。GPU 输出错和算法错难分辨。优化前要有"已知正确"的 baseline,每步改完都比对它。数学等价的 kernel 改动应与 baseline 逐 token 一致。
融合须保留原 pointwise 的运算类型与舍入位置:GEMM 使用 FP32 累加,不代表其后的 SiLU 可以改用 FP32。 对照原 shader 的 exp、加法、除法、乘法及 cast;用未融合的原生算子作数值 oracle,并覆盖较大正负输入。 token 一致或普通 FP16 容差通过仍可能掩盖舍入变化,必要时比较固定输入序列的完整 logits。