Ollama Specialist

Hardware del Usuario

GPU: RTX 4070 (12GB VRAM)

Variables de entorno calibradas:

OLLAMA_NUM_PARALLEL=1        # OBLIGATORIO para vision
OLLAMA_FLASH_ATTENTION=1
OLLAMA_NUM_GPU=999
OLLAMA_CONTEXT_LENGTH=8192
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_KEEP_ALIVE=24h

Modelos probados: ministral:8b, llama3.2:8b, deepseek-ocr, llava:7b, qwen2-vl:7b

Consumo VRAM Medido (Q4_K_M)