AMO Sampler: Melhorando a Renderização de Texto com Overshooting

AMO Sampler: Enhancing Text Rendering with Overshooting

November 28, 2024

Autores: Xixi Hu, Keyang Xu, Bo Liu, Qiang Liu, Hongliang Fei

cs.AI

Resumo

Alcançar um alinhamento preciso entre instruções textuais e imagens geradas na geração de texto para imagem é um desafio significativo, especialmente na renderização de texto escrito dentro de imagens. Modelos de ponta como Stable Diffusion 3 (SD3), Flux e AuraFlow ainda enfrentam dificuldades com a representação precisa de texto, resultando em erros de ortografia ou texto inconsistente. Apresentamos um método sem necessidade de treinamento, com sobrecarga computacional mínima, que melhora significativamente a qualidade da renderização de texto. Especificamente, introduzimos um amostrador de overshooting para modelos pré-treinados de fluxo retificado (RF), alternando entre a superestimação da equação diferencial ordinária (ODE) aprendida e a reintrodução de ruído. Em comparação com o amostrador de Euler, o amostrador de overshooting introduz efetivamente um termo extra de dinâmica de Langevin que pode ajudar a corrigir o erro acumulado a partir de passos sucessivos de Euler e, portanto, melhorar a renderização de texto. No entanto, quando a força de overshooting é alta, observamos artefatos de oversmoothing nas imagens geradas. Para abordar esse problema, propomos um amostrador de Overshooting Modulado por Atenção (AMO), que controla adaptativamente a força de overshooting para cada patch de imagem de acordo com sua pontuação de atenção com o conteúdo do texto. O AMO demonstra uma melhoria de 32,3% e 35,9% na precisão da renderização de texto no SD3 e Flux sem comprometer a qualidade geral da imagem ou aumentar o custo de inferência.

English

Achieving precise alignment between textual instructions and generated images in text-to-image generation is a significant challenge, particularly in rendering written text within images. Sate-of-the-art models like Stable Diffusion 3 (SD3), Flux, and AuraFlow still struggle with accurate text depiction, resulting in misspelled or inconsistent text. We introduce a training-free method with minimal computational overhead that significantly enhances text rendering quality. Specifically, we introduce an overshooting sampler for pretrained rectified flow (RF) models, by alternating between over-simulating the learned ordinary differential equation (ODE) and reintroducing noise. Compared to the Euler sampler, the overshooting sampler effectively introduces an extra Langevin dynamics term that can help correct the compounding error from successive Euler steps and therefore improve the text rendering. However, when the overshooting strength is high, we observe over-smoothing artifacts on the generated images. To address this issue, we propose an Attention Modulated Overshooting sampler (AMO), which adaptively controls the strength of overshooting for each image patch according to their attention score with the text content. AMO demonstrates a 32.3% and 35.9% improvement in text rendering accuracy on SD3 and Flux without compromising overall image quality or increasing inference cost.