external-cannbot-model-model-infer-parallel-analysis
Installation
SKILL.md
模型并行策略分析
本 skill 仅做分析和推荐,不修改任何代码。 输出为 parallel_config 推荐和方案文档。
适用范围
- 模型类型:Dense Transformer、MoE Transformer
- 硬件平台:昇腾 Atlas A2 / A3 系列
- 决策范围:
parallel_config中各*_tp_size(TP)、o_proj_tp_size、cp_size(CP)、kvp_size(KVP)的值,以及由此推导的 DP/EP 度(*_dp_size = world_size // *_tp_size)