Any-Size-Diffusion: Verso una Sintesi Efficiente Guidata da Testo per Immagini HD di Qualsiasi Dimensione

Any-Size-Diffusion: Toward Efficient Text-Driven Synthesis for Any-Size HD Images

August 31, 2023

Autori: Qingping Zheng, Yuanfan Guo, Jiankang Deng, Jianhua Han, Ying Li, Songcen Xu, Hang Xu

cs.AI

Abstract

Stable Diffusion, un modello generativo utilizzato nella sintesi di immagini da testo, incontra frequentemente problemi di composizione indotti dalla risoluzione quando genera immagini di dimensioni variabili. Questo problema deriva principalmente dal fatto che il modello è stato addestrato su coppie di immagini a scala singola e le relative descrizioni testuali. Inoltre, l'addestramento diretto su immagini di dimensioni illimitate è impraticabile, poiché richiederebbe un numero enorme di coppie testo-immagine e comporterebbe costi computazionali significativi. Per superare queste sfide, proponiamo una pipeline in due fasi denominata Any-Size-Diffusion (ASD), progettata per generare in modo efficiente immagini ben composte di qualsiasi dimensione, minimizzando la necessità di risorse GPU ad alta memoria. Nello specifico, la fase iniziale, chiamata Any Ratio Adaptability Diffusion (ARAD), sfrutta un insieme selezionato di immagini con un intervallo limitato di rapporti per ottimizzare il modello di diffusione condizionato al testo, migliorando così la sua capacità di adattare la composizione per accogliere dimensioni diverse delle immagini. Per supportare la creazione di immagini di qualsiasi dimensione desiderata, introduciamo ulteriormente una tecnica chiamata Fast Seamless Tiled Diffusion (FSTD) nella fase successiva. Questo metodo consente di ingrandire rapidamente l'output di ASD a qualsiasi dimensione ad alta risoluzione, evitando artefatti di cucitura o sovraccarichi di memoria. I risultati sperimentali sui benchmark LAION-COCO e MM-CelebA-HQ dimostrano che ASD può produrre immagini ben strutturate di dimensioni arbitrarie, riducendo il tempo di inferenza di 2x rispetto al tradizionale algoritmo a tasselli.

English

Stable diffusion, a generative model used in text-to-image synthesis, frequently encounters resolution-induced composition problems when generating images of varying sizes. This issue primarily stems from the model being trained on pairs of single-scale images and their corresponding text descriptions. Moreover, direct training on images of unlimited sizes is unfeasible, as it would require an immense number of text-image pairs and entail substantial computational expenses. To overcome these challenges, we propose a two-stage pipeline named Any-Size-Diffusion (ASD), designed to efficiently generate well-composed images of any size, while minimizing the need for high-memory GPU resources. Specifically, the initial stage, dubbed Any Ratio Adaptability Diffusion (ARAD), leverages a selected set of images with a restricted range of ratios to optimize the text-conditional diffusion model, thereby improving its ability to adjust composition to accommodate diverse image sizes. To support the creation of images at any desired size, we further introduce a technique called Fast Seamless Tiled Diffusion (FSTD) at the subsequent stage. This method allows for the rapid enlargement of the ASD output to any high-resolution size, avoiding seaming artifacts or memory overloads. Experimental results on the LAION-COCO and MM-CelebA-HQ benchmarks demonstrate that ASD can produce well-structured images of arbitrary sizes, cutting down the inference time by 2x compared to the traditional tiled algorithm.