mindspeed-llm-training
Installation
SKILL.md
MindSpeed-LLM 分布式训练启动
本 Skill 指导用户在华为昇腾 NPU 上启动 MindSpeed-LLM 分布式训练任务。
入口脚本
| 入口脚本 | 用途 |
|---|---|
pretrain_gpt.py |
预训练（从头训练或继续预训练） |
posttrain_gpt.py |
指令微调（SFT、LoRA、QLoRA、Full） |
posttrain_gpt.py |
偏好对齐（DPO、GRPO） |
train_fsdp2.py |
FSDP2 后端训练 |
重要：所有微调任务必须使用
posttrain_gpt.py，不要使用pretrain_gpt.py。只有posttrain_gpt.py才能正确路由--is-instruction-dataset到 packed 指令数据加载器。