Что необходимо для генерации текста в 360-градусные панорамы с использованием Stable Diffusion?

What Makes for Text to 360-degree Panorama Generation with Stable Diffusion?

May 28, 2025

Авторы: Jinhong Ni, Chang-Bin Zhang, Qiang Zhang, Jing Zhang

cs.AI

Аннотация

Недавний успех моделей диффузии для генерации изображений из текста, таких как Stable Diffusion, стимулировал исследования по их адаптации для создания 360-градусных панорам. Предыдущие работы продемонстрировали возможность использования традиционных методов низкоранговой адаптации на предварительно обученных моделях диффузии для генерации панорамных изображений. Однако значительный разрыв между перспективными и панорамными изображениями вызывает вопросы о механизмах, лежащих в основе этого эмпирического успеха. Мы выдвигаем гипотезу и исследуем, что обучаемые компоненты демонстрируют различные поведенческие особенности при тонкой настройке на панорамных данных, и такая адаптация скрывает некоторые внутренние механизмы, позволяющие использовать предварительные знания, заложенные в моделях диффузии. Наш анализ выявил следующее: 1) матрицы запросов и ключей в модулях внимания отвечают за общую информацию, которая может быть разделена между панорамным и перспективным доменами, и поэтому менее значимы для генерации панорам; 2) матрицы значений и выходных весов специализируются на адаптации предварительно полученных знаний к панорамному домену, играя более важную роль в процессе тонкой настройки для генерации панорам. Мы эмпирически подтверждаем эти выводы, представляя простую структуру под названием UniPano, целью которой является создание элегантного базиса для будущих исследований. UniPano не только превосходит существующие методы, но и значительно сокращает использование памяти и время обучения по сравнению с предыдущими подходами с двумя ветвями, что делает его масштабируемым для сквозной генерации панорам с более высоким разрешением. Код будет опубликован.

English

Recent prosperity of text-to-image diffusion models, e.g. Stable Diffusion, has stimulated research to adapt them to 360-degree panorama generation. Prior work has demonstrated the feasibility of using conventional low-rank adaptation techniques on pre-trained diffusion models to generate panoramic images. However, the substantial domain gap between perspective and panoramic images raises questions about the underlying mechanisms enabling this empirical success. We hypothesize and examine that the trainable counterparts exhibit distinct behaviors when fine-tuned on panoramic data, and such an adaptation conceals some intrinsic mechanism to leverage the prior knowledge within the pre-trained diffusion models. Our analysis reveals the following: 1) the query and key matrices in the attention modules are responsible for common information that can be shared between the panoramic and perspective domains, thus are less relevant to panorama generation; and 2) the value and output weight matrices specialize in adapting pre-trained knowledge to the panoramic domain, playing a more critical role during fine-tuning for panorama generation. We empirically verify these insights by introducing a simple framework called UniPano, with the objective of establishing an elegant baseline for future research. UniPano not only outperforms existing methods but also significantly reduces memory usage and training time compared to prior dual-branch approaches, making it scalable for end-to-end panorama generation with higher resolution. The code will be released.