Acoplamiento de flujo multirresolución: aceleración de difusión sin entrenamiento mediante muestreo por etapas

Resumen

Las estrategias independientes del hardware para acelerar la difusión de texto a imagen, como la destilación de pasos temporales y el almacenamiento en caché de características, pueden reducir el tiempo de inferencia sin necesidad de kernels personalizados ni optimización a nivel de sistema. Entre ellas, las estrategias de generación multirresolución han recibido recientemente gran atención, logrando aceleraciones de más de 5 veces sin ningún entrenamiento. Sin embargo, el diseño de realizar sobremuestreo en el espacio latente, junto con la modificación selectiva de regiones parciales, provoca que estos métodos presenten un notable desenfoque o artefactos. Para ello, proponemos MrFlow, una estrategia de aceleración multirresolución sin entrenamiento para modelos preentrenados de emparejamiento de flujo, construida sobre una tubería escalonada de baja a alta resolución. MrFlow primero genera rápidamente la estructura principal a baja resolución, luego realiza súper resolución en el espacio de píxeles utilizando un modelo ligero basado en GAN preentrenado, posteriormente inyecta ruido de baja intensidad para permitir el remuestreo de alta frecuencia, y finalmente refina los detalles a alta resolución. Los resultados cuantitativos y cualitativos en FLUX.1-dev y Qwen-Image muestran que MrFlow aprovecha la reducción cuadrática de tokens y el menor número de pasos requerido por el muestreo de baja resolución para lograr una aceleración de extremo a extremo de 10 veces, manteniendo al mismo tiempo el OneIG dentro de un margen del 1% respecto al valor anterior a la aceleración, superando significativamente a otras estrategias de aceleración sin entrenamiento, y sin requerir ningún entrenamiento o identificación dinámica en tiempo de ejecución. MrFlow puede combinarse además directamente de forma ortogonal con estrategias preentrenadas de destilación de pasos temporales, logrando una aceleración de generación aún mayor, de hasta 25 veces.

English

Hardware-agnostic strategies for accelerating text-to-image diffusion, such as timestep distillation and feature caching, can reduce inference time without custom kernels or system-level optimization. Among them, multi-resolution generation strategies have recently received broad attention, attaining more than 5x speedup without any training. However, the design of performing upsampling in the latent space, together with the selective modification of partial regions, causes these methods to exhibit noticeable blurring or artifacts. To this end, we propose MrFlow, a training-free multi-resolution acceleration strategy for pretrained flow-matching models built upon a staged low-to-high-resolution pipeline. MrFlow first rapidly generates the main structure at low resolution, then performs super-resolution in the pixel space using a lightweight pretrained GAN-based model, subsequently injects low-strength noise to enable high-frequency resampling, and finally refines the details at high resolution. Quantitative and qualitative results on FLUX.1-dev and Qwen-Image show that MrFlow exploits the quadratic token reduction and reduced step requirement of low-resolution sampling to achieve 10x end-to-end acceleration while keeping OneIG within a 1% gap relative to that before acceleration, significantly surpassing other training-free acceleration strategies, and requiring no training or runtime dynamic identification whatsoever. MrFlow can further be directly combined orthogonally with pre-trained timestep distillation strategies, achieving even higher generation acceleration of up to 25x.