roofline-toolcall-ru

Installation
SKILL.md

Tool calling и chat template

Все task ниже: task -t ${CLAUDE_SKILL_DIR}/../roofline-toolbox/Taskfile.yml <задача> или include этого Taskfile в проектном (task infer:<задача>). Переменные INFER_URL, INFER_PROFILE берутся из окружения, из аргументов (task serve INFER_PROFILE=x) или из inference.env в текущем каталоге.

Модель генерирует вызов инструмента текстом в своём формате (Hermes JSON в <tool_call>, XML у Qwen3-Coder, [TOOL_CALLS] у Mistral). Парсер движка превращает этот текст в OpenAI tool_calls. Формат задаёт chat template из tokenizer_config.json: он обязан совпадать с форматом обучения (Бурков, с. 164-170, ChatML и роли), иначе никакой парсер не поможет.

Процедура

  1. Семейство модели: config.json (architectures, model_type) и README весов
  2. Шаблон поддерживает инструменты: в tokenizer_config.json поле chat_template содержит tools; нет его: взять шаблон из репозитория модели или движка (--chat-template), не писать свой
  3. Парсеры по таблице в references/parsers.md; имя проверить: task flags Q=tool-call-parser
  4. В профиль: vLLM --enable-auto-tool-choice --tool-call-parser <p> [--reasoning-parser <r>]; SGLang --tool-call-parser <p> [--reasoning-parser <r>]
  5. task serve, затем task smoke-toolcall: non-stream, stream, отрицательный тест, round trip с ролью tool, параллельные вызовы
  6. Подключить клиента по references/clients.md и прогнать реальную задачу (прочитать файл, сделать правку)

Что проверяет smoke-toolcall и как читать FAIL

Installs
1
GitHub Stars
2
First Seen
3 days ago