AMO Sampler: Verbeteren van Tekstweergave met Overshoot

AMO Sampler: Enhancing Text Rendering with Overshooting

November 28, 2024

Auteurs: Xixi Hu, Keyang Xu, Bo Liu, Qiang Liu, Hongliang Fei

cs.AI

Samenvatting

Het nauwkeurig afstemmen van tekstuele instructies en gegenereerde afbeeldingen in tekst-naar-afbeelding generatie is een aanzienlijke uitdaging, vooral bij het weergeven van geschreven tekst binnen afbeeldingen. State-of-the-art modellen zoals Stable Diffusion 3 (SD3), Flux en AuraFlow hebben nog steeds moeite met nauwkeurige tekstweergave, wat resulteert in verkeerd gespelde of inconsistente tekst. We introduceren een trainingsvrije methode met minimale computationele overhead die aanzienlijk de kwaliteit van tekstweergave verbetert. Specifiek introduceren we een overshooting sampler voor vooraf getrainde rectified flow (RF) modellen, door af te wisselen tussen het oversimuleren van de geleerde gewone differentiaalvergelijking (ODE) en het opnieuw introduceren van ruis. In vergelijking met de Euler sampler, introduceert de overshooting sampler effectief een extra Langevin dynamica term die kan helpen bij het corrigeren van de opeenhopende fouten van opeenvolgende Euler-stappen en daardoor de tekstweergave verbetert. Echter, wanneer de overshooting kracht hoog is, observeren we overmatig vloeiende artefacten op de gegenereerde afbeeldingen. Om dit probleem aan te pakken, stellen we een Attention Modulated Overshooting sampler (AMO) voor, die adaptief de kracht van overshooting voor elk afbeeldingspatch regelt op basis van hun aandachtsscore met de tekstinhoud. AMO toont een verbetering van 32,3% en 35,9% in nauwkeurigheid van tekstweergave op SD3 en Flux zonder de algehele beeldkwaliteit in gevaar te brengen of de inferentiekosten te verhogen.

English

Achieving precise alignment between textual instructions and generated images in text-to-image generation is a significant challenge, particularly in rendering written text within images. Sate-of-the-art models like Stable Diffusion 3 (SD3), Flux, and AuraFlow still struggle with accurate text depiction, resulting in misspelled or inconsistent text. We introduce a training-free method with minimal computational overhead that significantly enhances text rendering quality. Specifically, we introduce an overshooting sampler for pretrained rectified flow (RF) models, by alternating between over-simulating the learned ordinary differential equation (ODE) and reintroducing noise. Compared to the Euler sampler, the overshooting sampler effectively introduces an extra Langevin dynamics term that can help correct the compounding error from successive Euler steps and therefore improve the text rendering. However, when the overshooting strength is high, we observe over-smoothing artifacts on the generated images. To address this issue, we propose an Attention Modulated Overshooting sampler (AMO), which adaptively controls the strength of overshooting for each image patch according to their attention score with the text content. AMO demonstrates a 32.3% and 35.9% improvement in text rendering accuracy on SD3 and Flux without compromising overall image quality or increasing inference cost.