Многоразрешающее согласование потоков: ускорение диффузии без обучения посредством поэтапной выборки

Аннотация

Аппаратно-независимые стратегии ускорения диффузионных моделей генерации изображений по текстовому описанию, такие как дистилляция временных шагов и кэширование признаков, позволяют сократить время инференса без использования специализированных ядер или системной оптимизации. Среди них особое внимание в последнее время привлекли стратегии многомасштабной генерации, обеспечивающие более чем пятикратное ускорение без какого-либо обучения. Однако применение повышения разрешения в латентном пространстве вместе с выборочной модификацией отдельных областей приводит к заметному размытию или появлению артефактов у таких методов. В связи с этим мы предлагаем MrFlow – свободную от обучения многомасштабную стратегию ускорения для предварительно обученных моделей согласования потоков, построенную на поэтапном конвейере от низкого к высокому разрешению. MrFlow сначала быстро генерирует основную структуру при низком разрешении, затем выполняет суперразрешение в пространстве пикселей с помощью облегченной предварительно обученной модели на основе GAN, после чего вводит шум низкой интенсивности для ресемплинга высоких частот и, наконец, уточняет детали при высоком разрешении. Количественные и качественные результаты на моделях FLUX.1-dev и Qwen-Image показывают, что MrFlow использует квадратичное сокращение токенов и уменьшение требуемого количества шагов при низкоразрешающей выборке для достижения десятикратного сквозного ускорения, сохраняя при этом OneIG в пределах 1% от значений до ускорения, значительно превосходя другие стратегии ускорения, не требующие обучения, и не нуждаясь ни в обучении, ни в динамической идентификации во время выполнения. MrFlow также может быть напрямую ортогонально объединен с предварительно обученными стратегиями дистилляции временных шагов, обеспечивая еще более высокое ускорение генерации – до 25 раз.

English

Hardware-agnostic strategies for accelerating text-to-image diffusion, such as timestep distillation and feature caching, can reduce inference time without custom kernels or system-level optimization. Among them, multi-resolution generation strategies have recently received broad attention, attaining more than 5x speedup without any training. However, the design of performing upsampling in the latent space, together with the selective modification of partial regions, causes these methods to exhibit noticeable blurring or artifacts. To this end, we propose MrFlow, a training-free multi-resolution acceleration strategy for pretrained flow-matching models built upon a staged low-to-high-resolution pipeline. MrFlow first rapidly generates the main structure at low resolution, then performs super-resolution in the pixel space using a lightweight pretrained GAN-based model, subsequently injects low-strength noise to enable high-frequency resampling, and finally refines the details at high resolution. Quantitative and qualitative results on FLUX.1-dev and Qwen-Image show that MrFlow exploits the quadratic token reduction and reduced step requirement of low-resolution sampling to achieve 10x end-to-end acceleration while keeping OneIG within a 1% gap relative to that before acceleration, significantly surpassing other training-free acceleration strategies, and requiring no training or runtime dynamic identification whatsoever. MrFlow can further be directly combined orthogonally with pre-trained timestep distillation strategies, achieving even higher generation acceleration of up to 25x.