Local Model Benchmarks

Workflow para descubrir modelos locales, compararlos con benchmarks ya corridos, ejecutar nuevos benchmarks con whatcanirun, y opcionalmente submitear resultados.

Regla principal: NO descargar modelos. Solo trabajar con lo que ya está descargado localmente.

Fase 1 — Discovery de modelos locales

Escanear las dos ubicaciones de modelos locales y presentar una tabla consolidada.

Modelos MLX (HuggingFace cache)

ls -d ~/.cache/huggingface/hub/models--* 2>/dev/null | while read dir; do
  basename "$dir" | sed 's/^models--//' | tr '--' '/'
done

El nombre de carpeta sigue el patrón models--{org}--{model}. Extraer org, modelo, y quantización del nombre.