Any-Size-Diffusion: Effiziente textgesteuerte Synthese für HD-Bilder beliebiger Größe

Any-Size-Diffusion: Toward Efficient Text-Driven Synthesis for Any-Size HD Images

August 31, 2023

Autoren: Qingping Zheng, Yuanfan Guo, Jiankang Deng, Jianhua Han, Ying Li, Songcen Xu, Hang Xu

cs.AI

Zusammenfassung

Stable Diffusion, ein generatives Modell, das in der Text-zu-Bild-Synthese eingesetzt wird, stößt häufig auf kompositionsbedingte Probleme, die durch die Auflösung verursacht werden, wenn Bilder in verschiedenen Größen generiert werden. Dieses Problem rührt hauptsächlich daher, dass das Modell auf Paare von Ein-Skalen-Bildern und ihren entsprechenden Textbeschreibungen trainiert wurde. Darüber hinaus ist ein direktes Training auf Bildern unbegrenzter Größe nicht praktikabel, da dies eine immense Anzahl von Text-Bild-Paaren erfordern und erhebliche Rechenkosten verursachen würde. Um diese Herausforderungen zu bewältigen, schlagen wir eine zweistufige Pipeline namens Any-Size-Diffusion (ASD) vor, die darauf abzielt, gut komponierte Bilder in beliebiger Größe effizient zu generieren und dabei den Bedarf an GPU-Ressourcen mit hohem Speicherbedarf zu minimieren. Konkret nutzt die erste Stufe, Any Ratio Adaptability Diffusion (ARAD), eine ausgewählte Gruppe von Bildern mit einem begrenzten Verhältnisbereich, um das textkonditionale Diffusionsmodell zu optimieren und somit dessen Fähigkeit zu verbessern, die Komposition an verschiedene Bildgrößen anzupassen. Um die Erstellung von Bildern in jeder gewünschten Größe zu unterstützen, führen wir in der nachfolgenden Stufe eine Technik namens Fast Seamless Tiled Diffusion (FSTD) ein. Diese Methode ermöglicht die schnelle Vergrößerung der ASD-Ausgabe auf jede hochauflösende Größe, ohne Nahtartefakte oder Speicherüberlastungen zu verursachen. Experimentelle Ergebnisse auf den Benchmarks LAION-COCO und MM-CelebA-HQ zeigen, dass ASD gut strukturierte Bilder in beliebiger Größe erzeugen kann und dabei die Inferenzzeit im Vergleich zum traditionellen Kachelalgorithmus um das 2-fache reduziert.

English

Stable diffusion, a generative model used in text-to-image synthesis, frequently encounters resolution-induced composition problems when generating images of varying sizes. This issue primarily stems from the model being trained on pairs of single-scale images and their corresponding text descriptions. Moreover, direct training on images of unlimited sizes is unfeasible, as it would require an immense number of text-image pairs and entail substantial computational expenses. To overcome these challenges, we propose a two-stage pipeline named Any-Size-Diffusion (ASD), designed to efficiently generate well-composed images of any size, while minimizing the need for high-memory GPU resources. Specifically, the initial stage, dubbed Any Ratio Adaptability Diffusion (ARAD), leverages a selected set of images with a restricted range of ratios to optimize the text-conditional diffusion model, thereby improving its ability to adjust composition to accommodate diverse image sizes. To support the creation of images at any desired size, we further introduce a technique called Fast Seamless Tiled Diffusion (FSTD) at the subsequent stage. This method allows for the rapid enlargement of the ASD output to any high-resolution size, avoiding seaming artifacts or memory overloads. Experimental results on the LAION-COCO and MM-CelebA-HQ benchmarks demonstrate that ASD can produce well-structured images of arbitrary sizes, cutting down the inference time by 2x compared to the traditional tiled algorithm.