Inference Engineer: с чего начать

Роль по roadmap.sh: делать так, чтобы модель отвечала быстро, дёшево и предсказуемо в проде. Стек этого пакета: on-prem GPU, vLLM или SGLang, OpenAI-совместимый endpoint, клиенты Claude Code и Qwen Code через прокси. Код и веса не покидают контур.

Первые пять минут

task -t ${CLAUDE_SKILL_DIR}/../roofline-toolbox/Taskfile.yml status     # gpu + health + models
task -t ${CLAUDE_SKILL_DIR}/../roofline-toolbox/Taskfile.yml metrics    # очередь, KV, prefix cache, p95

Нет сервера: skill roofline-runtime-ru. Сервер есть, но не отвечает или деградировал: roofline-incident-ru. Всё работает и нужно быстрее: roofline-perf-ru.

Куда идти по запросу