Регионально-адаптивная выборка для диффузионных трансформеров

Region-Adaptive Sampling for Diffusion Transformers

February 14, 2025

Авторы: Ziming Liu, Yifan Yang, Chengruidong Zhang, Yiqi Zhang, Lili Qiu, Yang You, Yuqing Yang

cs.AI

Аннотация

Диффузионные модели (DMs) стали основным выбором для генеративных задач в различных областях. Однако их зависимость от множества последовательных прямых проходов существенно ограничивает производительность в реальном времени. Предыдущие методы ускорения в основном были сосредоточены на сокращении количества шагов выборки или повторном использовании промежуточных результатов, не учитывая вариации в пространственных областях изображения из-за ограничений сверточных U-Net архитектур. Используя гибкость Diffusion Transformers (DiTs) в обработке переменного количества токенов, мы представляем RAS — новую, не требующую обучения стратегию выборки, которая динамически назначает различные коэффициенты выборки для областей изображения на основе фокуса модели DiT. Наше ключевое наблюдение заключается в том, что на каждом шаге выборки модель концентрируется на семантически значимых областях, и эти области фокуса демонстрируют сильную преемственность между последовательными шагами. Используя это наблюдение, RAS обновляет только области, находящиеся в фокусе, в то время как остальные области обновляются с использованием кэшированного шума из предыдущего шага. Фокус модели определяется на основе вывода предыдущего шага, что позволяет использовать наблюдаемую временную согласованность. Мы оцениваем RAS на моделях Stable Diffusion 3 и Lumina-Next-T2I, достигая ускорения до 2.36x и 2.51x соответственно с минимальным ухудшением качества генерации. Кроме того, пользовательское исследование показывает, что RAS обеспечивает сопоставимое качество при оценке людьми, достигая ускорения в 1.6x. Наш подход делает значительный шаг к более эффективным диффузионным трансформерам, расширяя их потенциал для приложений реального времени.

English

Diffusion models (DMs) have become the leading choice for generative tasks across diverse domains. However, their reliance on multiple sequential forward passes significantly limits real-time performance. Previous acceleration methods have primarily focused on reducing the number of sampling steps or reusing intermediate results, failing to leverage variations across spatial regions within the image due to the constraints of convolutional U-Net structures. By harnessing the flexibility of Diffusion Transformers (DiTs) in handling variable number of tokens, we introduce RAS, a novel, training-free sampling strategy that dynamically assigns different sampling ratios to regions within an image based on the focus of the DiT model. Our key observation is that during each sampling step, the model concentrates on semantically meaningful regions, and these areas of focus exhibit strong continuity across consecutive steps. Leveraging this insight, RAS updates only the regions currently in focus, while other regions are updated using cached noise from the previous step. The model's focus is determined based on the output from the preceding step, capitalizing on the temporal consistency we observed. We evaluate RAS on Stable Diffusion 3 and Lumina-Next-T2I, achieving speedups up to 2.36x and 2.51x, respectively, with minimal degradation in generation quality. Additionally, a user study reveals that RAS delivers comparable qualities under human evaluation while achieving a 1.6x speedup. Our approach makes a significant step towards more efficient diffusion transformers, enhancing their potential for real-time applications.