roofline-runtime-ru
Installation
SKILL.md
Runtime: vLLM и SGLang
Все task ниже: task -t ${CLAUDE_SKILL_DIR}/../roofline-toolbox/Taskfile.yml <задача> или include этого Taskfile в проектном (task infer:<задача>). Переменные INFER_URL, INFER_PROFILE берутся из окружения, из аргументов (task serve INFER_PROFILE=x) или из inference.env в текущем каталоге.
Выбор движка
| Критерий | vLLM | SGLang |
|---|---|---|
| Поддержка архитектур, day-0 новые модели | шире, быстрее | уже, но MoE (DeepSeek, Qwen3-MoE) часто быстрее |
| Prefix cache | блочный, включён по умолчанию (V1) | RadixAttention, включён по умолчанию |
| Tool-call и reasoning parsers | --enable-auto-tool-choice --tool-call-parser, --reasoning-parser |
--tool-call-parser, --reasoning-parser |
| Метрики | /metrics всегда |
/metrics только с --enable-metrics |
| Когда брать | дефолт для dense-моделей и новых релизов | MoE под высокой конкурентностью, radix cache на многоходовых агентах |
TensorRT-LLM даёт максимум на NVIDIA, но узкая поддержка моделей и дорогая сборка движков: в этом продукте не используем. Выбирать оба на одной модели можно только по task bench с одинаковыми параметрами.