AMO Sampler: Улучшение отображения текста с помощью перерасхода.

AMO Sampler: Enhancing Text Rendering with Overshooting

November 28, 2024

Авторы: Xixi Hu, Keyang Xu, Bo Liu, Qiang Liu, Hongliang Fei

cs.AI

Аннотация

Достижение точного соответствия между текстовыми инструкциями и сгенерированными изображениями в генерации текста в изображение представляет собой значительное вызов, особенно в отображении письменного текста на изображениях. Современные модели, такие как Stable Diffusion 3 (SD3), Flux и AuraFlow, все еще испытывают трудности с точным изображением текста, что приводит к опечаткам или несогласованному тексту. Мы представляем метод обучения без обучения с минимальной вычислительной нагрузкой, который значительно улучшает качество отображения текста. Конкретно, мы вводим сэмплер с перестрелкой для предварительно обученных моделей прямого потока (RF), чередуя перестрелку изученного обыкновенного дифференциального уравнения (ODE) и повторное введение шума. По сравнению с сэмплером Эйлера, сэмплер с перестрелкой эффективно вводит дополнительный термин динамики Ланжевена, который может помочь исправить накапливающуюся ошибку от последовательных шагов Эйлера и, следовательно, улучшить отображение текста. Однако при высокой силе перестрелки мы наблюдаем артефакты излишнего сглаживания на сгенерированных изображениях. Для решения этой проблемы мы предлагаем сэмплер с модулированием внимания и перестрелкой (AMO), который адаптивно контролирует силу перестрелки для каждого патча изображения в соответствии с их оценкой внимания к содержанию текста. AMO демонстрирует улучшение точности отображения текста на 32,3% и 35,9% на моделях SD3 и Flux без ущерба для общего качества изображения или увеличения стоимости вывода.

English

Achieving precise alignment between textual instructions and generated images in text-to-image generation is a significant challenge, particularly in rendering written text within images. Sate-of-the-art models like Stable Diffusion 3 (SD3), Flux, and AuraFlow still struggle with accurate text depiction, resulting in misspelled or inconsistent text. We introduce a training-free method with minimal computational overhead that significantly enhances text rendering quality. Specifically, we introduce an overshooting sampler for pretrained rectified flow (RF) models, by alternating between over-simulating the learned ordinary differential equation (ODE) and reintroducing noise. Compared to the Euler sampler, the overshooting sampler effectively introduces an extra Langevin dynamics term that can help correct the compounding error from successive Euler steps and therefore improve the text rendering. However, when the overshooting strength is high, we observe over-smoothing artifacts on the generated images. To address this issue, we propose an Attention Modulated Overshooting sampler (AMO), which adaptively controls the strength of overshooting for each image patch according to their attention score with the text content. AMO demonstrates a 32.3% and 35.9% improvement in text rendering accuracy on SD3 and Flux without compromising overall image quality or increasing inference cost.