Diffusion360: Naadloze 360-graden panoramische beeldgeneratie gebaseerd op diffusiemodellen
Diffusion360: Seamless 360 Degree Panoramic Image Generation based on Diffusion Models
November 22, 2023
Auteurs: Mengyang Feng, Jinlin Liu, Miaomiao Cui, Xuansong Xie
cs.AI
Samenvatting
Dit is een technisch rapport over de taak van het genereren van 360-graden panoramische afbeeldingen op basis van diffusiemodellen. In tegenstelling tot gewone 2D-afbeeldingen, vangen 360-graden panoramische afbeeldingen het volledige gezichtsveld van 360^circ keer 180^circ vast. Daarom moeten de meest rechtse en meest linkse zijden van de 360-graden panoramische afbeelding naadloos aansluiten, wat de grootste uitdaging in dit veld vormt. Het huidige diffusiepipeline is echter niet geschikt voor het genereren van zo'n naadloze 360-graden panoramische afbeelding. Om dit te bereiken, stellen we een circulaire blendingstrategie voor in zowel de denoising- als de VAE-decoderingsfasen om de geometrische continuïteit te behouden. Op basis hiervan presenteren we twee modellen voor de taken Text-to-360-panorama's en Single-Image-to-360-panorama's. De code is vrijgegeven als een open-source project op
https://github.com/ArcherFMY/SD-T2I-360PanoImage{https://github.com/ArcherFMY/SD-T2I-360PanoImage}
en
https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary{ModelScope}.
English
This is a technical report on the 360-degree panoramic image generation task
based on diffusion models. Unlike ordinary 2D images, 360-degree panoramic
images capture the entire 360^circtimes 180^circ field of view. So the
rightmost and the leftmost sides of the 360 panoramic image should be
continued, which is the main challenge in this field. However, the current
diffusion pipeline is not appropriate for generating such a seamless 360-degree
panoramic image. To this end, we propose a circular blending strategy on both
the denoising and VAE decoding stages to maintain the geometry continuity.
Based on this, we present two models for Text-to-360-panoramas and
Single-Image-to-360-panoramas tasks. The code has been released as an
open-source project at
https://github.com/ArcherFMY/SD-T2I-360PanoImage{https://github.com/ArcherFMY/SD-T2I-360PanoImage}
and
https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary{ModelScope}