안정적인 확산을 통한 텍스트에서 360도 파노라마 생성의 조건은 무엇인가?

What Makes for Text to 360-degree Panorama Generation with Stable Diffusion?

May 28, 2025

저자: Jinhong Ni, Chang-Bin Zhang, Qiang Zhang, Jing Zhang

cs.AI

초록

최근 텍스트-이미지 확산 모델(예: Stable Diffusion)의 발전은 이를 360도 파노라마 생성에 적용하려는 연구를 촉진하고 있다. 기존 연구에서는 사전 학습된 확산 모델에 전통적인 저순위 적응 기법을 적용하여 파노라마 이미지를 생성하는 것이 가능함을 입증했다. 그러나 원근 이미지와 파노라마 이미지 간의 상당한 도메인 차이는 이러한 경험적 성공을 가능하게 하는 근본적인 메커니즘에 대한 의문을 제기한다. 우리는 파노라마 데이터에 대해 미세 조정될 때 학습 가능한 요소들이 독특한 행동을 보이며, 이러한 적응이 사전 학습된 확산 모델 내의 사전 지식을 활용하는 어떤 내재적 메커니즘을 숨기고 있다고 가설을 세우고 이를 검증한다. 우리의 분석은 다음과 같은 사실을 밝혀냈다: 1) 주의 모듈의 쿼리와 키 행렬은 파노라마와 원근 도메인 간에 공유될 수 있는 일반적인 정보를 담당하므로 파노라마 생성과는 덜 관련이 있다; 2) 값과 출력 가중치 행렬은 사전 학습된 지식을 파노라마 도메인에 적응시키는 데 특화되어 있으며, 파노라마 생성을 위한 미세 조정 과정에서 더 중요한 역할을 한다. 우리는 이러한 통찰을 실증적으로 검증하기 위해 UniPano라는 간단한 프레임워크를 도입하여, 향후 연구를 위한 우아한 기준을 마련하는 것을 목표로 한다. UniPano는 기존 방법을 능가할 뿐만 아니라, 이전의 이중 분기 접근법에 비해 메모리 사용량과 학습 시간을 크게 줄여 더 높은 해상도의 종단 간 파노라마 생성을 확장 가능하게 만든다. 코드는 공개될 예정이다.

English

Recent prosperity of text-to-image diffusion models, e.g. Stable Diffusion, has stimulated research to adapt them to 360-degree panorama generation. Prior work has demonstrated the feasibility of using conventional low-rank adaptation techniques on pre-trained diffusion models to generate panoramic images. However, the substantial domain gap between perspective and panoramic images raises questions about the underlying mechanisms enabling this empirical success. We hypothesize and examine that the trainable counterparts exhibit distinct behaviors when fine-tuned on panoramic data, and such an adaptation conceals some intrinsic mechanism to leverage the prior knowledge within the pre-trained diffusion models. Our analysis reveals the following: 1) the query and key matrices in the attention modules are responsible for common information that can be shared between the panoramic and perspective domains, thus are less relevant to panorama generation; and 2) the value and output weight matrices specialize in adapting pre-trained knowledge to the panoramic domain, playing a more critical role during fine-tuning for panorama generation. We empirically verify these insights by introducing a simple framework called UniPano, with the objective of establishing an elegant baseline for future research. UniPano not only outperforms existing methods but also significantly reduces memory usage and training time compared to prior dual-branch approaches, making it scalable for end-to-end panorama generation with higher resolution. The code will be released.