AMO Sampler: Verbesserung der Textdarstellung durch Überschießen

AMO Sampler: Enhancing Text Rendering with Overshooting

November 28, 2024

Autoren: Xixi Hu, Keyang Xu, Bo Liu, Qiang Liu, Hongliang Fei

cs.AI

Zusammenfassung

Die präzise Ausrichtung zwischen textuellen Anweisungen und generierten Bildern in der Text-zu-Bild-Generierung ist eine bedeutende Herausforderung, insbesondere bei der Darstellung von schriftlichem Text innerhalb von Bildern. State-of-the-Art-Modelle wie Stable Diffusion 3 (SD3), Flux und AuraFlow haben nach wie vor Schwierigkeiten mit der genauen Textdarstellung, was zu falsch geschriebenen oder inkonsistenten Texten führt. Wir stellen eine trainingsfreie Methode mit minimalem Rechenaufwand vor, die die Qualität der Textdarstellung signifikant verbessert. Konkret führen wir einen Overshooting-Sampler für vortrainierte rektifizierte Fluss (RF)-Modelle ein, indem wir zwischen dem übermäßigen Simulieren der erlernten gewöhnlichen Differentialgleichung (ODE) und der Wiedereinführung von Rauschen abwechseln. Im Vergleich zum Euler-Sampler führt der Overshooting-Sampler effektiv einen zusätzlichen Langevin-Dynamik-Term ein, der dazu beitragen kann, den Fehler aus aufeinanderfolgenden Euler-Schritten zu korrigieren und somit die Textdarstellung zu verbessern. Allerdings beobachten wir bei hoher Overshooting-Stärke Überglättungsartefakte auf den generierten Bildern. Um dieses Problem zu lösen, schlagen wir einen Attention Modulated Overshooting-Sampler (AMO) vor, der die Stärke des Overshootings für jeden Bildausschnitt adaptiv steuert, basierend auf ihrem Aufmerksamkeitswert für den Textinhalt. AMO zeigt eine Verbesserung der Textdarstellungsgenauigkeit um 32,3% bzw. 35,9% bei SD3 und Flux, ohne die Gesamtqualität der Bilder zu beeinträchtigen oder die Inferenzkosten zu erhöhen.

English

Achieving precise alignment between textual instructions and generated images in text-to-image generation is a significant challenge, particularly in rendering written text within images. Sate-of-the-art models like Stable Diffusion 3 (SD3), Flux, and AuraFlow still struggle with accurate text depiction, resulting in misspelled or inconsistent text. We introduce a training-free method with minimal computational overhead that significantly enhances text rendering quality. Specifically, we introduce an overshooting sampler for pretrained rectified flow (RF) models, by alternating between over-simulating the learned ordinary differential equation (ODE) and reintroducing noise. Compared to the Euler sampler, the overshooting sampler effectively introduces an extra Langevin dynamics term that can help correct the compounding error from successive Euler steps and therefore improve the text rendering. However, when the overshooting strength is high, we observe over-smoothing artifacts on the generated images. To address this issue, we propose an Attention Modulated Overshooting sampler (AMO), which adaptively controls the strength of overshooting for each image patch according to their attention score with the text content. AMO demonstrates a 32.3% and 35.9% improvement in text rendering accuracy on SD3 and Flux without compromising overall image quality or increasing inference cost.