Flow Matching multi-résolution : accélération de diffusion sans entraînement via un échantillonnage par étapes

Résumé

Des stratégies indépendantes du matériel pour accélérer la diffusion texte-image, telles que la distillation de pas de temps et la mise en cache des caractéristiques, permettent de réduire le temps d'inférence sans noyaux personnalisés ni optimisation au niveau du système. Parmi elles, les stratégies de génération multi-résolution ont récemment suscité une large attention, atteignant une accélération de plus de 5× sans aucun entraînement. Cependant, la conception consistant à effectuer un suréchantillonnage dans l'espace latent, associée à la modification sélective de régions partielles, fait que ces méthodes présentent un flou ou des artefacts notables. Pour y remédier, nous proposons MrFlow, une stratégie d'accélération multi-résolution sans entraînement pour les modèles d'appariement de flux pré-entraînés, construite sur un pipeline par étapes de basse à haute résolution. MrFlow génère d'abord rapidement la structure principale à basse résolution, puis effectue une super-résolution dans l'espace pixel à l'aide d'un modèle léger basé sur GAN pré-entraîné, injecte ensuite un bruit de faible intensité pour permettre un rééchantillonnage haute fréquence, et enfin affine les détails à haute résolution. Les résultats quantitatifs et qualitatifs sur FLUX.1-dev et Qwen-Image montrent que MrFlow exploite la réduction quadratique des tokens et le nombre réduit d'étapes requis par l'échantillonnage à basse résolution pour atteindre une accélération de bout en bout de 10× tout en maintenant OneIG à moins de 1 % d'écart par rapport à avant l'accélération, surpassant significativement les autres stratégies d'accélération sans entraînement, et ne nécessitant ni entraînement ni identification dynamique en cours d'exécution. MrFlow peut en outre être directement combiné de manière orthogonale avec des stratégies de distillation de pas de temps pré-entraînées, permettant une accélération de génération encore plus élevée, jusqu'à 25×.

English

Hardware-agnostic strategies for accelerating text-to-image diffusion, such as timestep distillation and feature caching, can reduce inference time without custom kernels or system-level optimization. Among them, multi-resolution generation strategies have recently received broad attention, attaining more than 5x speedup without any training. However, the design of performing upsampling in the latent space, together with the selective modification of partial regions, causes these methods to exhibit noticeable blurring or artifacts. To this end, we propose MrFlow, a training-free multi-resolution acceleration strategy for pretrained flow-matching models built upon a staged low-to-high-resolution pipeline. MrFlow first rapidly generates the main structure at low resolution, then performs super-resolution in the pixel space using a lightweight pretrained GAN-based model, subsequently injects low-strength noise to enable high-frequency resampling, and finally refines the details at high resolution. Quantitative and qualitative results on FLUX.1-dev and Qwen-Image show that MrFlow exploits the quadratic token reduction and reduced step requirement of low-resolution sampling to achieve 10x end-to-end acceleration while keeping OneIG within a 1% gap relative to that before acceleration, significantly surpassing other training-free acceleration strategies, and requiring no training or runtime dynamic identification whatsoever. MrFlow can further be directly combined orthogonally with pre-trained timestep distillation strategies, achieving even higher generation acceleration of up to 25x.