dynamic_batching

Agrupamiento dinámico de múltiples peticiones de inferencia en un solo batch GPU para maximizar throughput. Cuando llegan varias peticiones simultáneamente, se procesan juntas en vez de una por una.

When to use

Usar en el worker_pool_agent cuando hay carga sostenida (>10 peticiones/segundo). En baja carga, procesar individualmente para mínima latencia.

Instructions

1. Implementar colector de batch con timeout:

   batch = []
   while len(batch) < max_batch_size:
       try:
           item = await queue.get(timeout=max_wait_ms / 1000)
           batch.append(item)
       except asyncio.TimeoutError:
           break