Any-Size-Diffusion: Naar efficiënte tekstgestuurde synthese voor HD-afbeeldingen van elke grootte

Any-Size-Diffusion: Toward Efficient Text-Driven Synthesis for Any-Size HD Images

August 31, 2023

Auteurs: Qingping Zheng, Yuanfan Guo, Jiankang Deng, Jianhua Han, Ying Li, Songcen Xu, Hang Xu

cs.AI

Samenvatting

Stable diffusion, een generatief model gebruikt in tekst-naar-beeldsynthese, loopt vaak tegen compositieproblemen aan die worden veroorzaakt door resolutie bij het genereren van afbeeldingen van verschillende groottes. Dit probleem komt voornamelijk voort uit het feit dat het model is getraind op paren van afbeeldingen met één schaal en hun bijbehorende tekstbeschrijvingen. Bovendien is directe training op afbeeldingen van onbeperkte groottes niet haalbaar, omdat dit een enorm aantal tekst-afbeeldingparen zou vereisen en aanzienlijke rekenkosten met zich mee zou brengen. Om deze uitdagingen te overwinnen, stellen we een tweestaps pijplijn voor genaamd Any-Size-Diffusion (ASD), die is ontworpen om efficiënt goed samengestelde afbeeldingen van elke grootte te genereren, terwijl de behoefte aan GPU-bronnen met hoog geheugen wordt geminimaliseerd. Specifiek maakt de eerste fase, genaamd Any Ratio Adaptability Diffusion (ARAD), gebruik van een geselecteerde set afbeeldingen met een beperkt bereik van verhoudingen om het tekst-conditionele diffusiemodel te optimaliseren, waardoor het vermogen om de compositie aan te passen aan diverse afbeeldingsgroottes wordt verbeterd. Om de creatie van afbeeldingen op elke gewenste grootte te ondersteunen, introduceren we in de volgende fase een techniek genaamd Fast Seamless Tiled Diffusion (FSTD). Deze methode maakt het mogelijk om de ASD-uitvoer snel te vergroten naar elke hoge-resolutiegrootte, waarbij naadartefacten of geheugenoverbelasting worden vermeden. Experimentele resultaten op de LAION-COCO en MM-CelebA-HQ benchmarks tonen aan dat ASD goed gestructureerde afbeeldingen van willekeurige groottes kan produceren, waarbij de inferentietijd wordt gehalveerd in vergelijking met het traditionele getegelde algoritme.

English

Stable diffusion, a generative model used in text-to-image synthesis, frequently encounters resolution-induced composition problems when generating images of varying sizes. This issue primarily stems from the model being trained on pairs of single-scale images and their corresponding text descriptions. Moreover, direct training on images of unlimited sizes is unfeasible, as it would require an immense number of text-image pairs and entail substantial computational expenses. To overcome these challenges, we propose a two-stage pipeline named Any-Size-Diffusion (ASD), designed to efficiently generate well-composed images of any size, while minimizing the need for high-memory GPU resources. Specifically, the initial stage, dubbed Any Ratio Adaptability Diffusion (ARAD), leverages a selected set of images with a restricted range of ratios to optimize the text-conditional diffusion model, thereby improving its ability to adjust composition to accommodate diverse image sizes. To support the creation of images at any desired size, we further introduce a technique called Fast Seamless Tiled Diffusion (FSTD) at the subsequent stage. This method allows for the rapid enlargement of the ASD output to any high-resolution size, avoiding seaming artifacts or memory overloads. Experimental results on the LAION-COCO and MM-CelebA-HQ benchmarks demonstrate that ASD can produce well-structured images of arbitrary sizes, cutting down the inference time by 2x compared to the traditional tiled algorithm.