multiprocessing_pool

multiprocessing.Pool crea procesos Python separados que evitan el GIL, permitiendo paralelismo real para tareas CPU-bound como procesamiento de imagen, OCR y análisis de textura.

When to use

Usar en el worker_pool_agent para tareas CPU-bound que no requieren GPU: procesamiento de documentos, ELA, análisis de textura, normalización OCR. Los workers GPU usan CUDA streams en su lugar.

Instructions

1. Configurar Celery con prefork pool (por defecto):

   app.conf.worker_pool = 'prefork'
   app.conf.worker_concurrency = os.cpu_count()
   

2. Para tareas fuera de Celery:

   from multiprocessing import Pool
   with Pool(processes=4) as pool: