Any-Size-Diffusion: К эффективному текстовому синтезу изображений высокого разрешения любого размера

Any-Size-Diffusion: Toward Efficient Text-Driven Synthesis for Any-Size HD Images

August 31, 2023

Авторы: Qingping Zheng, Yuanfan Guo, Jiankang Deng, Jianhua Han, Ying Li, Songcen Xu, Hang Xu

cs.AI

Аннотация

Stable Diffusion, генеративная модель, используемая в синтезе изображений по текстовым описаниям, часто сталкивается с проблемами композиции, вызванными изменением разрешения при генерации изображений различных размеров. Эта проблема в основном связана с тем, что модель обучалась на парах изображений одного масштаба и соответствующих текстовых описаний. Более того, прямое обучение на изображениях неограниченных размеров невозможно, так как это потребовало бы огромного количества пар текст-изображение и повлекло бы значительные вычислительные затраты. Для преодоления этих трудностей мы предлагаем двухэтапный подход под названием Any-Size-Diffusion (ASD), предназначенный для эффективной генерации хорошо скомпонованных изображений любого размера при минимальной потребности в ресурсах GPU с высокой памятью. В частности, на начальном этапе, названном Any Ratio Adaptability Diffusion (ARAD), используется выбранный набор изображений с ограниченным диапазоном соотношений сторон для оптимизации тексто-условной диффузионной модели, тем самым улучшая её способность адаптировать композицию под различные размеры изображений. Для поддержки создания изображений любого желаемого размера на следующем этапе мы вводим метод под названием Fast Seamless Tiled Diffusion (FSTD). Этот метод позволяет быстро увеличивать выходные данные ASD до любого высокого разрешения, избегая артефактов на стыках или перегрузки памяти. Экспериментальные результаты на бенчмарках LAION-COCO и MM-CelebA-HQ демонстрируют, что ASD может создавать хорошо структурированные изображения произвольных размеров, сокращая время вывода в 2 раза по сравнению с традиционным алгоритмом мозаичного увеличения.

English

Stable diffusion, a generative model used in text-to-image synthesis, frequently encounters resolution-induced composition problems when generating images of varying sizes. This issue primarily stems from the model being trained on pairs of single-scale images and their corresponding text descriptions. Moreover, direct training on images of unlimited sizes is unfeasible, as it would require an immense number of text-image pairs and entail substantial computational expenses. To overcome these challenges, we propose a two-stage pipeline named Any-Size-Diffusion (ASD), designed to efficiently generate well-composed images of any size, while minimizing the need for high-memory GPU resources. Specifically, the initial stage, dubbed Any Ratio Adaptability Diffusion (ARAD), leverages a selected set of images with a restricted range of ratios to optimize the text-conditional diffusion model, thereby improving its ability to adjust composition to accommodate diverse image sizes. To support the creation of images at any desired size, we further introduce a technique called Fast Seamless Tiled Diffusion (FSTD) at the subsequent stage. This method allows for the rapid enlargement of the ASD output to any high-resolution size, avoiding seaming artifacts or memory overloads. Experimental results on the LAION-COCO and MM-CelebA-HQ benchmarks demonstrate that ASD can produce well-structured images of arbitrary sizes, cutting down the inference time by 2x compared to the traditional tiled algorithm.