Wat maakt tekst-naar-360-graden-panorama-generatie mogelijk met Stable Diffusion?

What Makes for Text to 360-degree Panorama Generation with Stable Diffusion?

May 28, 2025

Auteurs: Jinhong Ni, Chang-Bin Zhang, Qiang Zhang, Jing Zhang

cs.AI

Samenvatting

De recente opkomst van tekst-naar-beeld diffusiemodellen, zoals Stable Diffusion, heeft onderzoek gestimuleerd om deze aan te passen voor het genereren van 360-graden panorama's. Eerder werk heeft de haalbaarheid aangetoond van het gebruik van conventionele low-rank adaptatietechnieken op vooraf getrainde diffusiemodellen om panoramische afbeeldingen te genereren. De aanzienlijke domeinkloof tussen perspectief- en panoramische afbeeldingen roept echter vragen op over de onderliggende mechanismen die dit empirische succes mogelijk maken. Wij veronderstellen en onderzoeken dat de trainbare tegenhangers verschillende gedragingen vertonen wanneer ze worden afgestemd op panoramische data, en dat een dergelijke aanpassing een intrinsiek mechanisme verbergt om de voorkennis binnen de vooraf getrainde diffusiemodellen te benutten. Onze analyse onthult het volgende: 1) de query- en key-matrices in de aandachtmodules zijn verantwoordelijk voor gemeenschappelijke informatie die kan worden gedeeld tussen de panoramische en perspectiefdomeinen, en zijn dus minder relevant voor panoramageneratie; en 2) de value- en outputgewichtmatrices specialiseren zich in het aanpassen van vooraf getrainde kennis aan het panoramische domein, en spelen een kritischer rol tijdens het afstemmen voor panoramageneratie. We verifiëren deze inzichten empirisch door een eenvoudig framework genaamd UniPano te introduceren, met als doel een elegante basislijn te creëren voor toekomstig onderzoek. UniPano overtreft niet alleen bestaande methoden, maar vermindert ook aanzienlijk het geheugengebruik en de trainingsduur in vergelijking met eerdere dual-branch benaderingen, waardoor het schaalbaar is voor end-to-end panoramageneratie met hogere resolutie. De code zal worden vrijgegeven.

English

Recent prosperity of text-to-image diffusion models, e.g. Stable Diffusion, has stimulated research to adapt them to 360-degree panorama generation. Prior work has demonstrated the feasibility of using conventional low-rank adaptation techniques on pre-trained diffusion models to generate panoramic images. However, the substantial domain gap between perspective and panoramic images raises questions about the underlying mechanisms enabling this empirical success. We hypothesize and examine that the trainable counterparts exhibit distinct behaviors when fine-tuned on panoramic data, and such an adaptation conceals some intrinsic mechanism to leverage the prior knowledge within the pre-trained diffusion models. Our analysis reveals the following: 1) the query and key matrices in the attention modules are responsible for common information that can be shared between the panoramic and perspective domains, thus are less relevant to panorama generation; and 2) the value and output weight matrices specialize in adapting pre-trained knowledge to the panoramic domain, playing a more critical role during fine-tuning for panorama generation. We empirically verify these insights by introducing a simple framework called UniPano, with the objective of establishing an elegant baseline for future research. UniPano not only outperforms existing methods but also significantly reduces memory usage and training time compared to prior dual-branch approaches, making it scalable for end-to-end panorama generation with higher resolution. The code will be released.