Muestreo Adaptativo por Región para Transformadores de Difusión

Region-Adaptive Sampling for Diffusion Transformers

February 14, 2025

Autores: Ziming Liu, Yifan Yang, Chengruidong Zhang, Yiqi Zhang, Lili Qiu, Yang You, Yuqing Yang

cs.AI

Resumen

Los modelos de difusión (DMs) se han convertido en la opción principal para tareas generativas en diversos dominios. Sin embargo, su dependencia de múltiples pasos secuenciales hacia adelante limita significativamente su rendimiento en tiempo real. Los métodos de aceleración anteriores se han centrado principalmente en reducir el número de pasos de muestreo o reutilizar resultados intermedios, sin aprovechar las variaciones entre las regiones espaciales dentro de la imagen debido a las limitaciones de las estructuras convolucionales U-Net. Aprovechando la flexibilidad de los Transformadores de Difusión (DiTs) para manejar un número variable de tokens, presentamos RAS, una novedosa estrategia de muestreo sin entrenamiento que asigna dinámicamente diferentes ratios de muestreo a las regiones de una imagen según el enfoque del modelo DiT. Nuestra observación clave es que, durante cada paso de muestreo, el modelo se concentra en regiones semánticamente significativas, y estas áreas de enfoque muestran una fuerte continuidad entre pasos consecutivos. Aprovechando esta idea, RAS actualiza solo las regiones que están actualmente en enfoque, mientras que otras regiones se actualizan utilizando ruido almacenado del paso anterior. El enfoque del modelo se determina en función de la salida del paso previo, capitalizando la consistencia temporal que observamos. Evaluamos RAS en Stable Diffusion 3 y Lumina-Next-T2I, logrando aceleraciones de hasta 2.36x y 2.51x, respectivamente, con una degradación mínima en la calidad de generación. Además, un estudio de usuarios revela que RAS ofrece calidades comparables bajo evaluación humana mientras alcanza una aceleración de 1.6x. Nuestro enfoque representa un avance significativo hacia transformadores de difusión más eficientes, potenciando su potencial para aplicaciones en tiempo real.

English

Diffusion models (DMs) have become the leading choice for generative tasks across diverse domains. However, their reliance on multiple sequential forward passes significantly limits real-time performance. Previous acceleration methods have primarily focused on reducing the number of sampling steps or reusing intermediate results, failing to leverage variations across spatial regions within the image due to the constraints of convolutional U-Net structures. By harnessing the flexibility of Diffusion Transformers (DiTs) in handling variable number of tokens, we introduce RAS, a novel, training-free sampling strategy that dynamically assigns different sampling ratios to regions within an image based on the focus of the DiT model. Our key observation is that during each sampling step, the model concentrates on semantically meaningful regions, and these areas of focus exhibit strong continuity across consecutive steps. Leveraging this insight, RAS updates only the regions currently in focus, while other regions are updated using cached noise from the previous step. The model's focus is determined based on the output from the preceding step, capitalizing on the temporal consistency we observed. We evaluate RAS on Stable Diffusion 3 and Lumina-Next-T2I, achieving speedups up to 2.36x and 2.51x, respectively, with minimal degradation in generation quality. Additionally, a user study reveals that RAS delivers comparable qualities under human evaluation while achieving a 1.6x speedup. Our approach makes a significant step towards more efficient diffusion transformers, enhancing their potential for real-time applications.