roofline-perf-ru
Installation
SKILL.md
Производительность
Все task ниже: task -t ${CLAUDE_SKILL_DIR}/../roofline-toolbox/Taskfile.yml <задача> или include этого Taskfile в проектном (task infer:<задача>). Переменные INFER_URL, INFER_PROFILE берутся из окружения, из аргументов (task serve INFER_PROFILE=x) или из inference.env в текущем каталоге.
Метрики и цели
| Метрика | Что измеряет | Чем определяется | Цель для кодовых агентов (стартовая) |
|---|---|---|---|
| TTFT | время до первого токена | prefill (compute-bound) плюс очередь | p95 до 2 с при промпте 20k токенов и тёплом prefix cache |
| TPOT (ITL) | время между токенами | decode (memory-bound): каждый токен читает все веса | p95 до 50 мс, то есть от 20 токенов/с на поток |
| TPS на пользователя | скорость потока | обратная TPOT | от 20 до 40 токенов/с |
| TPS общий | пропускная способность | размер батча, ширина памяти | выше при большем батче ценой TPOT |
| p50/p95/p99 | распределение | очередь и длинные промпты | решения по p95, не по среднему |
| e2e | что видит клиент | плюс сеть, прокси, очередь | если e2e велик при быстром сервере, виноват прокси |
Формулы и определения: references/metrics.md. Снять текущее: task metrics (гистограммы с момента старта), под нагрузкой: task bench.