Mehrskalen-Flussabgleich: Trainingsfreie Diffusionsbeschleunigung durch gestaffeltes Sampling

Zusammenfassung

Hardwareunabhängige Strategien zur Beschleunigung von Text-zu-Bild-Diffusion, wie Zeitschrittdestillation und Feature-Caching, können die Inferenzzeit ohne benutzerdefinierte Kernel oder systemweite Optimierung reduzieren. Unter diesen hat die Multiauflösungsgenerierungsstrategie in letzter Zeit breite Beachtung gefunden und erreicht eine mehr als 5-fache Beschleunigung ohne jegliches Training. Allerdings führt die Gestaltung der Durchführung von Hochskalierung im latenten Raum zusammen mit der selektiven Modifikation von Teilbereichen dazu, dass diese Methoden merkliche Unschärfe oder Artefakte aufweisen. Aus diesem Grund schlagen wir MrFlow vor, eine trainingsfreie Multiauflösungsbeschleunigungsstrategie für vortrainierte Flow-Matching-Modelle, die auf einer stufenweisen Pipeline von niedriger zu hoher Auflösung aufbaut. MrFlow erzeugt zunächst schnell die Hauptstruktur bei niedriger Auflösung, führt dann eine Superauflösung im Pixelraum unter Verwendung eines leichtgewichtigen, vortrainierten GAN-basierten Modells durch, injiziert anschließend Rauschen mit geringer Stärke, um ein Hochfrequenz-Resampling zu ermöglichen, und verfeinert schließlich die Details bei hoher Auflösung. Quantitative und qualitative Ergebnisse an FLUX.1-dev und Qwen-Image zeigen, dass MrFlow die quadratische Token-Reduktion und den reduzierten Schrittbedarf der Abtastung bei niedriger Auflösung ausnutzt, um eine 10-fache End-to-End-Beschleunigung zu erreichen, während OneIG innerhalb einer Abweichung von 1 % relativ zum Wert vor der Beschleunigung bleibt, wodurch andere trainingsfreie Beschleunigungsstrategien deutlich übertroffen werden und keinerlei Training oder dynamische Identifikation zur Laufzeit erforderlich ist. MrFlow kann weiterhin direkt orthogonal mit vortrainierten Zeitschrittdestillationsstrategien kombiniert werden und erreicht so eine noch höhere Generierungsbeschleunigung von bis zu 25-fach.

English

Hardware-agnostic strategies for accelerating text-to-image diffusion, such as timestep distillation and feature caching, can reduce inference time without custom kernels or system-level optimization. Among them, multi-resolution generation strategies have recently received broad attention, attaining more than 5x speedup without any training. However, the design of performing upsampling in the latent space, together with the selective modification of partial regions, causes these methods to exhibit noticeable blurring or artifacts. To this end, we propose MrFlow, a training-free multi-resolution acceleration strategy for pretrained flow-matching models built upon a staged low-to-high-resolution pipeline. MrFlow first rapidly generates the main structure at low resolution, then performs super-resolution in the pixel space using a lightweight pretrained GAN-based model, subsequently injects low-strength noise to enable high-frequency resampling, and finally refines the details at high resolution. Quantitative and qualitative results on FLUX.1-dev and Qwen-Image show that MrFlow exploits the quadratic token reduction and reduced step requirement of low-resolution sampling to achieve 10x end-to-end acceleration while keeping OneIG within a 1% gap relative to that before acceleration, significantly surpassing other training-free acceleration strategies, and requiring no training or runtime dynamic identification whatsoever. MrFlow can further be directly combined orthogonally with pre-trained timestep distillation strategies, achieving even higher generation acceleration of up to 25x.