I-Max: Maximierung des Auflösungspotenzials vorab trainierter rektifizierter Fluss-Transformer mit projiziertem Fluss

I-Max: Maximize the Resolution Potential of Pre-trained Rectified Flow Transformers with Projected Flow

October 10, 2024

Autoren: Ruoyi Du, Dongyang Liu, Le Zhuo, Qin Qi, Hongsheng Li, Zhanyu Ma, Peng Gao

cs.AI

Zusammenfassung

Rektifizierte Fließtransformer (RFTs) bieten eine überlegene Schulungs- und Inferenzeffizienz und sind daher wahrscheinlich die vielversprechendste Richtung zur Skalierung von Diffusionsmodellen. Der Fortschritt bei der Generierungsauflösung war jedoch aufgrund von Datenqualität und Schulungskosten relativ langsam. Die abstimmungsfreie Auflösungsextrapolation bietet eine Alternative, aber aktuelle Methoden führen oft zu einer Verringerung der generativen Stabilität, was die praktische Anwendung einschränkt. In diesem Papier überprüfen wir bestehende Auflösungsextrapolationsmethoden und stellen das I-Max-Framework vor, um das Auflösungspotenzial von Text-zu-Bild-RFTs zu maximieren. I-Max bietet: (i) eine neuartige Projektflussstrategie für stabile Extrapolation und (ii) ein fortschrittliches Inferenz-Toolkit zur Verallgemeinerung des Modellwissens auf höhere Auflösungen. Experimente mit Lumina-Next-2K und Flux.1-dev zeigen die Fähigkeit von I-Max, die Stabilität bei der Auflösungsextrapolation zu verbessern und zu zeigen, dass es die Entstehung von Bilddetails und die Korrektur von Artefakten ermöglichen kann, was den praktischen Wert der abstimmungsfreien Auflösungsextrapolation bestätigt.

English

Rectified Flow Transformers (RFTs) offer superior training and inference efficiency, making them likely the most viable direction for scaling up diffusion models. However, progress in generation resolution has been relatively slow due to data quality and training costs. Tuning-free resolution extrapolation presents an alternative, but current methods often reduce generative stability, limiting practical application. In this paper, we review existing resolution extrapolation methods and introduce the I-Max framework to maximize the resolution potential of Text-to-Image RFTs. I-Max features: (i) a novel Projected Flow strategy for stable extrapolation and (ii) an advanced inference toolkit for generalizing model knowledge to higher resolutions. Experiments with Lumina-Next-2K and Flux.1-dev demonstrate I-Max's ability to enhance stability in resolution extrapolation and show that it can bring image detail emergence and artifact correction, confirming the practical value of tuning-free resolution extrapolation.