Regionenadaptives Sampling für Diffusionstransformatoren

Region-Adaptive Sampling for Diffusion Transformers

February 14, 2025

Autoren: Ziming Liu, Yifan Yang, Chengruidong Zhang, Yiqi Zhang, Lili Qiu, Yang You, Yuqing Yang

cs.AI

Zusammenfassung

Diffusionsmodelle (DMs) sind zur führenden Wahl für generative Aufgaben in verschiedenen Bereichen geworden. Ihre Abhängigkeit von mehreren aufeinanderfolgenden Vorwärtspässen begrenzt jedoch erheblich die Echtzeit-Performance. Frühere Beschleunigungsmethoden konzentrierten sich hauptsächlich darauf, die Anzahl der Abtastschritte zu reduzieren oder Zwischenergebnisse wiederzuverwenden, ohne die Variationen über räumliche Regionen innerhalb des Bildes zu nutzen, aufgrund der Einschränkungen von faltenden U-Netz-Strukturen. Indem wir die Flexibilität von Diffusions-Transformern (DiTs) in der Handhabung variabler Token-Zahlen nutzen, führen wir RAS ein, eine neuartige, trainingsfreie Abtaststrategie, die dynamisch unterschiedliche Abtastverhältnisse für Regionen innerhalb eines Bildes basierend auf dem Fokus des DiT-Modells zuweist. Unsere Schlüsselbeobachtung ist, dass das Modell während jedes Abtastschritts auf semantisch bedeutungsvolle Regionen konzentriert ist und diese Fokusbereiche eine starke Kontinuität über aufeinanderfolgende Schritte aufweisen. Unter Nutzung dieses Einblicks aktualisiert RAS nur die aktuell fokussierten Regionen, während andere Regionen unter Verwendung von zwischengespeichertem Rauschen aus dem vorherigen Schritt aktualisiert werden. Der Fokus des Modells wird basierend auf der Ausgabe des vorherigen Schritts bestimmt und nutzt die beobachtete zeitliche Konsistenz aus. Wir evaluieren RAS an Stable Diffusion 3 und Lumina-Next-T2I und erzielen Geschwindigkeitssteigerungen von bis zu 2,36-fach bzw. 2,51-fach bei minimaler Verschlechterung der Generierungsqualität. Zusätzlich zeigt eine Benutzerstudie, dass RAS vergleichbare Qualitäten unter menschlicher Bewertung liefert und dabei eine 1,6-fache Beschleunigung erreicht. Unser Ansatz macht einen bedeutenden Schritt hin zu effizienteren Diffusions-Transformern und verbessert ihr Potenzial für Echtzeitanwendungen.

English

Diffusion models (DMs) have become the leading choice for generative tasks across diverse domains. However, their reliance on multiple sequential forward passes significantly limits real-time performance. Previous acceleration methods have primarily focused on reducing the number of sampling steps or reusing intermediate results, failing to leverage variations across spatial regions within the image due to the constraints of convolutional U-Net structures. By harnessing the flexibility of Diffusion Transformers (DiTs) in handling variable number of tokens, we introduce RAS, a novel, training-free sampling strategy that dynamically assigns different sampling ratios to regions within an image based on the focus of the DiT model. Our key observation is that during each sampling step, the model concentrates on semantically meaningful regions, and these areas of focus exhibit strong continuity across consecutive steps. Leveraging this insight, RAS updates only the regions currently in focus, while other regions are updated using cached noise from the previous step. The model's focus is determined based on the output from the preceding step, capitalizing on the temporal consistency we observed. We evaluate RAS on Stable Diffusion 3 and Lumina-Next-T2I, achieving speedups up to 2.36x and 2.51x, respectively, with minimal degradation in generation quality. Additionally, a user study reveals that RAS delivers comparable qualities under human evaluation while achieving a 1.6x speedup. Our approach makes a significant step towards more efficient diffusion transformers, enhancing their potential for real-time applications.