Amostragem Adaptativa por Região para Transformadores de Difusão

Region-Adaptive Sampling for Diffusion Transformers

February 14, 2025

Autores: Ziming Liu, Yifan Yang, Chengruidong Zhang, Yiqi Zhang, Lili Qiu, Yang You, Yuqing Yang

cs.AI

Resumo

Os modelos de difusão (DMs) tornaram-se a principal escolha para tarefas generativas em diversos domínios. No entanto, sua dependência de múltiplas passagens sequenciais limita significativamente o desempenho em tempo real. Métodos anteriores de aceleração concentraram-se principalmente em reduzir o número de etapas de amostragem ou reutilizar resultados intermediários, falhando em aproveitar as variações entre regiões espaciais dentro da imagem devido às restrições das estruturas convolucionais U-Net. Ao aproveitar a flexibilidade dos Transformers de Difusão (DiTs) no tratamento de um número variável de tokens, introduzimos o RAS, uma nova estratégia de amostragem sem treinamento que atribui dinamicamente diferentes taxas de amostragem a regiões dentro de uma imagem com base no foco do modelo DiT. Nossa observação principal é que, durante cada etapa de amostragem, o modelo se concentra em regiões semanticamente significativas, e essas áreas de foco exibem forte continuidade entre etapas consecutivas. Aproveitando essa percepção, o RAS atualiza apenas as regiões atualmente em foco, enquanto outras regiões são atualizadas usando ruído armazenado da etapa anterior. O foco do modelo é determinado com base na saída da etapa precedente, capitalizando a consistência temporal que observamos. Avaliamos o RAS no Stable Diffusion 3 e no Lumina-Next-T2I, alcançando acelerações de até 2,36x e 2,51x, respectivamente, com degradação mínima na qualidade de geração. Além disso, um estudo com usuários revela que o RAS oferece qualidades comparáveis sob avaliação humana enquanto alcança uma aceleração de 1,6x. Nossa abordagem representa um passo significativo em direção a transformers de difusão mais eficientes, aumentando seu potencial para aplicações em tempo real.

English

Diffusion models (DMs) have become the leading choice for generative tasks across diverse domains. However, their reliance on multiple sequential forward passes significantly limits real-time performance. Previous acceleration methods have primarily focused on reducing the number of sampling steps or reusing intermediate results, failing to leverage variations across spatial regions within the image due to the constraints of convolutional U-Net structures. By harnessing the flexibility of Diffusion Transformers (DiTs) in handling variable number of tokens, we introduce RAS, a novel, training-free sampling strategy that dynamically assigns different sampling ratios to regions within an image based on the focus of the DiT model. Our key observation is that during each sampling step, the model concentrates on semantically meaningful regions, and these areas of focus exhibit strong continuity across consecutive steps. Leveraging this insight, RAS updates only the regions currently in focus, while other regions are updated using cached noise from the previous step. The model's focus is determined based on the output from the preceding step, capitalizing on the temporal consistency we observed. We evaluate RAS on Stable Diffusion 3 and Lumina-Next-T2I, achieving speedups up to 2.36x and 2.51x, respectively, with minimal degradation in generation quality. Additionally, a user study reveals that RAS delivers comparable qualities under human evaluation while achieving a 1.6x speedup. Our approach makes a significant step towards more efficient diffusion transformers, enhancing their potential for real-time applications.