external-mindstudio-msmodelslim-model-adapt
Installation
SKILL.md
msModelSlim 基础模型适配 Skill
本 Skill 指导如何为新模型创建基础适配器,使其跑通 W8A8/W4A16 量化流程。
适用范围
- 支持:Decoder-only LLM、理解类 VLM(只处理文本/LLM 主干)
- 不支持:多模态生成(如 Stable Diffusion/Flux/Wan)、Encoder-only、非 Transformers
核心工作流
1. 准备工作
- 下载模型:建议使用
modelscope download下载非权重文件。- 示例:
modelscope download --model <org>/<model> --local_dir ./models/<name> --exclude '*.safetensors'
- 示例:
- 分析模型:阅读
config.json与modeling_*.py,确认结构与实现。- 详见:模型结构分析指南