I-Max : Maximiser le potentiel de résolution des Transformers à écoulement redressé pré-entraînés avec l'écoulement projeté

I-Max: Maximize the Resolution Potential of Pre-trained Rectified Flow Transformers with Projected Flow

October 10, 2024

Auteurs: Ruoyi Du, Dongyang Liu, Le Zhuo, Qin Qi, Hongsheng Li, Zhanyu Ma, Peng Gao

cs.AI

Résumé

Les Transformateurs de Flux Rectifiés (RFT) offrent une efficacité supérieure en matière d'entraînement et d'inférence, ce qui en fait probablement la direction la plus viable pour l'extension des modèles de diffusion. Cependant, les progrès dans la résolution de génération ont été relativement lents en raison de la qualité des données et des coûts d'entraînement. L'extrapolation de résolution sans réglage présente une alternative, mais les méthodes actuelles réduisent souvent la stabilité générative, limitant ainsi l'application pratique. Dans cet article, nous passons en revue les méthodes d'extrapolation de résolution existantes et introduisons le cadre I-Max pour maximiser le potentiel de résolution des RFT Texte-vers-Image. I-Max présente : (i) une nouvelle stratégie de Flux Projeté pour une extrapolation stable et (ii) une boîte à outils d'inférence avancée pour généraliser les connaissances du modèle à des résolutions plus élevées. Des expériences avec Lumina-Next-2K et Flux.1-dev démontrent la capacité d'I-Max à améliorer la stabilité dans l'extrapolation de résolution et montrent qu'il peut apporter l'émergence de détails d'image et la correction d'artefacts, confirmant ainsi la valeur pratique de l'extrapolation de résolution sans réglage.

English

Rectified Flow Transformers (RFTs) offer superior training and inference efficiency, making them likely the most viable direction for scaling up diffusion models. However, progress in generation resolution has been relatively slow due to data quality and training costs. Tuning-free resolution extrapolation presents an alternative, but current methods often reduce generative stability, limiting practical application. In this paper, we review existing resolution extrapolation methods and introduce the I-Max framework to maximize the resolution potential of Text-to-Image RFTs. I-Max features: (i) a novel Projected Flow strategy for stable extrapolation and (ii) an advanced inference toolkit for generalizing model knowledge to higher resolutions. Experiments with Lumina-Next-2K and Flux.1-dev demonstrate I-Max's ability to enhance stability in resolution extrapolation and show that it can bring image detail emergence and artifact correction, confirming the practical value of tuning-free resolution extrapolation.