Diffusion360: 확산 모델 기반의 완벽한 360도 파노라마 이미지 생성

Diffusion360: Seamless 360 Degree Panoramic Image Generation based on Diffusion Models

November 22, 2023

저자: Mengyang Feng, Jinlin Liu, Miaomiao Cui, Xuansong Xie

cs.AI

초록

본 기술 보고서는 확산 모델(Diffusion Model) 기반의 360도 파노라마 이미지 생성 작업에 관한 내용을 다룹니다. 일반적인 2D 이미지와 달리, 360도 파노라마 이미지는 360^circ × 180^circ의 시야각을 포착합니다. 따라서 360도 파노라마 이미지의 가장 오른쪽과 가장 왼쪽 부분이 연속성을 유지해야 하는 것이 이 분야의 주요 과제입니다. 그러나 현재의 확산 파이프라인은 이러한 매끄러운 360도 파노라마 이미지를 생성하는 데 적합하지 않습니다. 이를 해결하기 위해, 우리는 잡음 제거(Denoising) 및 VAE 디코딩 단계에서 기하학적 연속성을 유지하기 위한 원형 블렌딩 전략(Circular Blending Strategy)을 제안합니다. 이를 바탕으로, 텍스트-투-360-파노라마(Text-to-360-panoramas) 및 단일-이미지-투-360-파노라마(Single-Image-to-360-panoramas) 작업을 위한 두 가지 모델을 제시합니다. 해당 코드는 오픈소스 프로젝트로 공개되었으며, 아래 링크에서 확인할 수 있습니다: https://github.com/ArcherFMY/SD-T2I-360PanoImage{https://github.com/ArcherFMY/SD-T2I-360PanoImage} 및 https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary{ModelScope}

English

This is a technical report on the 360-degree panoramic image generation task based on diffusion models. Unlike ordinary 2D images, 360-degree panoramic images capture the entire 360^circtimes 180^circ field of view. So the rightmost and the leftmost sides of the 360 panoramic image should be continued, which is the main challenge in this field. However, the current diffusion pipeline is not appropriate for generating such a seamless 360-degree panoramic image. To this end, we propose a circular blending strategy on both the denoising and VAE decoding stages to maintain the geometry continuity. Based on this, we present two models for Text-to-360-panoramas and Single-Image-to-360-panoramas tasks. The code has been released as an open-source project at https://github.com/ArcherFMY/SD-T2I-360PanoImage{https://github.com/ArcherFMY/SD-T2I-360PanoImage} and https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary{ModelScope}