다중 해상도 플로우 매칭: 단계적 샘플링을 통한 훈련 없는 확산 가속

초록

하드웨어에 구애받지 않는 텍스트-이미지 확산 가속 전략(예: 타임스텝 증류 및 특징 캐싱)은 맞춤형 커널이나 시스템 수준 최적화 없이도 추론 시간을 줄일 수 있다. 이 중 다중 해상도 생성 전략은 최근 광범위한 주목을 받으며, 학습 없이 5배 이상의 속도 향상을 달성했다. 그러나 잠재 공간에서 업샘플링을 수행하고 부분 영역을 선택적으로 수정하는 설계로 인해, 이러한 방법들은 눈에 띄는 블러링이나 아티팩트를 나타낸다. 이에 우리는 단계적 저해상도-고해상도 파이프라인을 기반으로 구축된 사전 학습된 플로우 매칭 모델을 위한 학습 없는 다중 해상도 가속 전략인 MrFlow를 제안한다. MrFlow는 먼저 저해상도에서 주 구조를 빠르게 생성한 후, 경량 사전 학습된 GAN 기반 모델을 사용하여 픽셀 공간에서 초해상도를 수행하고, 이후 낮은 강도의 노이즈를 주입하여 고주파수 리샘플링을 가능하게 한 후, 최종적으로 고해상도에서 세부 사항을 정제한다. FLUX.1-dev와 Qwen-Image에 대한 정량적 및 정성적 결과는 MrFlow가 저해상도 샘플링의 이차 토큰 감소와 감소된 스텝 요구 사항을 활용하여 10배의 종단 간 가속을 달성하면서도 OneIG를 가속 전 대비 1% 이내의 차이로 유지하며, 다른 학습 없는 가속 전략을 크게 능가하고, 학습이나 런타임 동적 식별이 전혀 필요하지 않음을 보여준다. MrFlow는 사전 학습된 타임스텝 증류 전략과 직교적으로 직접 결합될 수 있어 최대 25배의 더 높은 생성 가속을 달성한다.

English

Hardware-agnostic strategies for accelerating text-to-image diffusion, such as timestep distillation and feature caching, can reduce inference time without custom kernels or system-level optimization. Among them, multi-resolution generation strategies have recently received broad attention, attaining more than 5x speedup without any training. However, the design of performing upsampling in the latent space, together with the selective modification of partial regions, causes these methods to exhibit noticeable blurring or artifacts. To this end, we propose MrFlow, a training-free multi-resolution acceleration strategy for pretrained flow-matching models built upon a staged low-to-high-resolution pipeline. MrFlow first rapidly generates the main structure at low resolution, then performs super-resolution in the pixel space using a lightweight pretrained GAN-based model, subsequently injects low-strength noise to enable high-frequency resampling, and finally refines the details at high resolution. Quantitative and qualitative results on FLUX.1-dev and Qwen-Image show that MrFlow exploits the quadratic token reduction and reduced step requirement of low-resolution sampling to achieve 10x end-to-end acceleration while keeping OneIG within a 1% gap relative to that before acceleration, significantly surpassing other training-free acceleration strategies, and requiring no training or runtime dynamic identification whatsoever. MrFlow can further be directly combined orthogonally with pre-trained timestep distillation strategies, achieving even higher generation acceleration of up to 25x.