Diffusion360: Geração Contínua de Imagens Panorâmicas de 360 Graus Baseada em Modelos de Difusão
Diffusion360: Seamless 360 Degree Panoramic Image Generation based on Diffusion Models
November 22, 2023
Autores: Mengyang Feng, Jinlin Liu, Miaomiao Cui, Xuansong Xie
cs.AI
Resumo
Este é um relatório técnico sobre a tarefa de geração de imagens panorâmicas de 360 graus baseada em modelos de difusão. Diferente das imagens 2D comuns, as imagens panorâmicas de 360 graus capturam todo o campo de visão de 360^circ vezes 180^circ. Portanto, os lados mais à direita e mais à esquerda da imagem panorâmica de 360 graus devem ser contínuos, o que é o principal desafio nessa área. No entanto, o pipeline de difusão atual não é adequado para gerar uma imagem panorâmica de 360 graus sem costuras. Para isso, propomos uma estratégia de mesclagem circular tanto nas etapas de remoção de ruído quanto na decodificação do VAE para manter a continuidade geométrica. Com base nisso, apresentamos dois modelos para as tarefas de Texto-para-Panorâmicas-360 e Imagem-Única-para-Panorâmicas-360. O código foi liberado como um projeto de código aberto em
https://github.com/ArcherFMY/SD-T2I-360PanoImage{https://github.com/ArcherFMY/SD-T2I-360PanoImage}
e
https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary{ModelScope}.
English
This is a technical report on the 360-degree panoramic image generation task
based on diffusion models. Unlike ordinary 2D images, 360-degree panoramic
images capture the entire 360^circtimes 180^circ field of view. So the
rightmost and the leftmost sides of the 360 panoramic image should be
continued, which is the main challenge in this field. However, the current
diffusion pipeline is not appropriate for generating such a seamless 360-degree
panoramic image. To this end, we propose a circular blending strategy on both
the denoising and VAE decoding stages to maintain the geometry continuity.
Based on this, we present two models for Text-to-360-panoramas and
Single-Image-to-360-panoramas tasks. The code has been released as an
open-source project at
https://github.com/ArcherFMY/SD-T2I-360PanoImage{https://github.com/ArcherFMY/SD-T2I-360PanoImage}
and
https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary{ModelScope}