기하학 인식 사전 학습을 통한 맥락 내 파노라마 생성 향상

초록

본 연구에서는 기하학 인식 사전 학습과 하위 작업 특화 미세 조정을 결합한 맥락 내 파노라마 생성을 위한 2단계 프레임워크인 Canvas360을 제시한다. 맥락 내 파노라마 작업에 특화된 대규모 고품질 훈련 데이터의 부족 문제를 해결하기 위해, 스타일 변환, 인페인팅, 아웃페인팅, 편집을 위한 100만 개의 고품질 쌍형 파노라마 샘플로 구성된 Canvas360Dataset을 제안하며, 이를 통해 다양한 맥락 내 생성 시나리오에서 효과적인 지도 학습을 가능하게 한다. 모델링 측면에서 Canvas360은 병렬 깊이 생성, 속도 원형 패딩, 유사도 손실 정규화를 통해 텍스트-투-파노라마 생성을 개선하여, 모델이 기하학 인식 표현을 학습하고 객체 왜곡 세부 사항을 포착하며 기하학적 일관성과 전역적 연속성을 향상시킨다. 또한 강력한 파노라마 사전 지식을 바탕으로, Canvas360은 토큰 수준 연결을 통해 다양한 하위 작업을 지원하는 통합된 맥락 내 파노라마 생성 프레임워크를 가능하게 하여, 작업 범위와 모델링 유연성 모두에서 기존 방법을 능가한다. 광범위한 실험을 통해 Canvas360이 파노라마 이미지 충실도를 개선하며, 특히 파노라마 특화 FAED 지표에서 매우 우수한 성능을 보이고 보고된 정량적 평가 전반에서 경쟁력 있는 또는 선도적인 결과를 달성함을 입증한다. 자세한 내용은 프로젝트 페이지(https://zry000.github.io/Canvas360/)에서 확인할 수 있다.

English

In this work, we present Canvas360, a two-stage framework for in-context panoramic generation that combines geometry-aware pretraining with downstream task-specific fine-tuning. To address the lack of large-scale, high-quality training data tailored to in-context panoramic tasks, we propose Canvas360Dataset, a collection of 1M high-quality paired panoramic samples for style transfer, inpainting, outpainting, and editing, enabling effective supervision across diverse in-context generation scenarios. On the modeling side, Canvas360 enhances text-to-panorama generation through parallel depth generation, velocity circular padding, and similarity loss regularization, enabling the model to learn geometry-aware representations, capture object distortion details, and improve geometric consistency and global coherence. Furthermore, empowered by strong panoramic priors, Canvas360 enables a unified in-context panoramic generation framework that supports diverse downstream tasks via token-level concatenation, surpassing prior methods in both task coverage and modeling flexibility. Extensive experiments show that Canvas360 improves panoramic image fidelity, achieving particularly strong performance on the panorama-specific FAED metric and competitive or leading results across the reported quantitative evaluations. More information can be found on our project page: https://zry000.github.io/Canvas360/