Diffusion360: Generazione Seamless di Immagini Panoramiche a 360 Gradi Basata su Modelli di Diffusione
Diffusion360: Seamless 360 Degree Panoramic Image Generation based on Diffusion Models
November 22, 2023
Autori: Mengyang Feng, Jinlin Liu, Miaomiao Cui, Xuansong Xie
cs.AI
Abstract
Questo è un rapporto tecnico sul compito di generazione di immagini panoramiche a 360 gradi basato su modelli di diffusione. A differenza delle normali immagini 2D, le immagini panoramiche a 360 gradi catturano l'intero campo visivo di 360^circ × 180^circ. Pertanto, i lati più a destra e più a sinistra dell'immagine panoramica a 360 gradi dovrebbero essere continui, il che rappresenta la principale sfida in questo campo. Tuttavia, l'attuale pipeline di diffusione non è adatta per generare un'immagine panoramica a 360 gradi senza soluzione di continuità. A tal fine, proponiamo una strategia di fusione circolare sia nelle fasi di denoising che di decodifica VAE per mantenere la continuità geometrica. Sulla base di ciò, presentiamo due modelli per i compiti di Text-to-360-panorami e Single-Image-to-360-panorami. Il codice è stato rilasciato come progetto open-source su
https://github.com/ArcherFMY/SD-T2I-360PanoImage{https://github.com/ArcherFMY/SD-T2I-360PanoImage}
e
https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary{ModelScope}.
English
This is a technical report on the 360-degree panoramic image generation task
based on diffusion models. Unlike ordinary 2D images, 360-degree panoramic
images capture the entire 360^circtimes 180^circ field of view. So the
rightmost and the leftmost sides of the 360 panoramic image should be
continued, which is the main challenge in this field. However, the current
diffusion pipeline is not appropriate for generating such a seamless 360-degree
panoramic image. To this end, we propose a circular blending strategy on both
the denoising and VAE decoding stages to maintain the geometry continuity.
Based on this, we present two models for Text-to-360-panoramas and
Single-Image-to-360-panoramas tasks. The code has been released as an
open-source project at
https://github.com/ArcherFMY/SD-T2I-360PanoImage{https://github.com/ArcherFMY/SD-T2I-360PanoImage}
and
https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary{ModelScope}