Any-Size-Diffusion: Rumo à Síntese Eficiente Orientada por Texto para Imagens HD de Qualquer Tamanho

Any-Size-Diffusion: Toward Efficient Text-Driven Synthesis for Any-Size HD Images

August 31, 2023

Autores: Qingping Zheng, Yuanfan Guo, Jiankang Deng, Jianhua Han, Ying Li, Songcen Xu, Hang Xu

cs.AI

Resumo

O Stable Diffusion, um modelo generativo utilizado na síntese de texto para imagem, frequentemente enfrenta problemas de composição induzidos por resolução ao gerar imagens de tamanhos variados. Esse problema decorre principalmente do fato de o modelo ter sido treinado em pares de imagens de escala única e suas descrições textuais correspondentes. Além disso, o treinamento direto em imagens de tamanhos ilimitados é inviável, pois exigiria um número imenso de pares texto-imagem e acarretaria custos computacionais substanciais. Para superar esses desafios, propomos um pipeline de duas etapas chamado Any-Size-Diffusion (ASD), projetado para gerar de forma eficiente imagens bem compostas de qualquer tamanho, minimizando a necessidade de recursos de GPU de alta memória. Especificamente, a etapa inicial, denominada Any Ratio Adaptability Diffusion (ARAD), utiliza um conjunto selecionado de imagens com uma faixa restrita de proporções para otimizar o modelo de difusão condicionado por texto, melhorando assim sua capacidade de ajustar a composição para acomodar diversos tamanhos de imagem. Para apoiar a criação de imagens em qualquer tamanho desejado, introduzimos ainda uma técnica chamada Fast Seamless Tiled Diffusion (FSTD) na etapa subsequente. Esse método permite a ampliação rápida da saída do ASD para qualquer tamanho de alta resolução, evitando artefatos de emenda ou sobrecarga de memória. Resultados experimentais nos benchmarks LAION-COCO e MM-CelebA-HQ demonstram que o ASD pode produzir imagens bem estruturadas de tamanhos arbitrários, reduzindo o tempo de inferência em 2x em comparação com o algoritmo tradicional de divisão em blocos.

English

Stable diffusion, a generative model used in text-to-image synthesis, frequently encounters resolution-induced composition problems when generating images of varying sizes. This issue primarily stems from the model being trained on pairs of single-scale images and their corresponding text descriptions. Moreover, direct training on images of unlimited sizes is unfeasible, as it would require an immense number of text-image pairs and entail substantial computational expenses. To overcome these challenges, we propose a two-stage pipeline named Any-Size-Diffusion (ASD), designed to efficiently generate well-composed images of any size, while minimizing the need for high-memory GPU resources. Specifically, the initial stage, dubbed Any Ratio Adaptability Diffusion (ARAD), leverages a selected set of images with a restricted range of ratios to optimize the text-conditional diffusion model, thereby improving its ability to adjust composition to accommodate diverse image sizes. To support the creation of images at any desired size, we further introduce a technique called Fast Seamless Tiled Diffusion (FSTD) at the subsequent stage. This method allows for the rapid enlargement of the ASD output to any high-resolution size, avoiding seaming artifacts or memory overloads. Experimental results on the LAION-COCO and MM-CelebA-HQ benchmarks demonstrate that ASD can produce well-structured images of arbitrary sizes, cutting down the inference time by 2x compared to the traditional tiled algorithm.