Repaint123: Snelle en hoogwaardige generatie van 3D uit één afbeelding met progressieve controleerbare 2D herschildering

Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting

December 20, 2023

Auteurs: Junwu Zhang, Zhenyu Tang, Yatian Pang, Xinhua Cheng, Peng Jin, Yida Wei, Wangbo Yu, Munan Ning, Li Yuan

cs.AI

Samenvatting

Recente methoden voor het genereren van 3D-modellen uit één afbeelding maken vaak gebruik van Score Distillation Sampling (SDS). Ondanks de indrukwekkende resultaten zijn er meerdere tekortkomingen, waaronder inconsistentie tussen verschillende aanzichten, oververzadigde en overmatig gladde texturen, evenals een trage generatiesnelheid. Om deze tekortkomingen aan te pakken, presenteren we Repaint123 om de bias tussen verschillende aanzichten en de degradatie van texturen te verminderen en het generatieproces te versnellen. De kernidee is om de krachtige beeldgeneratiecapaciteit van het 2D-diffusiemodel te combineren met de textuurafstemmingsvaardigheid van de repainting-strategie om hoogwaardige, consistente afbeeldingen vanuit meerdere aanzichten te genereren. We stellen verder een zichtbaarheidsbewuste adaptieve repainting-sterkte voor overlappende regio's voor om de kwaliteit van de gegenereerde afbeeldingen tijdens het repainting-proces te verbeteren. De gegenereerde hoogwaardige en consistente afbeeldingen vanuit meerdere aanzichten maken het gebruik van een eenvoudig Mean Square Error (MSE)-verlies mogelijk voor snelle 3D-contentgeneratie. We voeren uitgebreide experimenten uit en tonen aan dat onze methode superieur is in het genereren van hoogwaardige 3D-content met consistentie tussen aanzichten en fijne texturen in 2 minuten vanaf nul. De code is beschikbaar op https://github.com/junwuzhang19/repaint123.

English

Recent one image to 3D generation methods commonly adopt Score Distillation Sampling (SDS). Despite the impressive results, there are multiple deficiencies including multi-view inconsistency, over-saturated and over-smoothed textures, as well as the slow generation speed. To address these deficiencies, we present Repaint123 to alleviate multi-view bias as well as texture degradation and speed up the generation process. The core idea is to combine the powerful image generation capability of the 2D diffusion model and the texture alignment ability of the repainting strategy for generating high-quality multi-view images with consistency. We further propose visibility-aware adaptive repainting strength for overlap regions to enhance the generated image quality in the repainting process. The generated high-quality and multi-view consistent images enable the use of simple Mean Square Error (MSE) loss for fast 3D content generation. We conduct extensive experiments and show that our method has a superior ability to generate high-quality 3D content with multi-view consistency and fine textures in 2 minutes from scratch. Code is at https://github.com/junwuzhang19/repaint123.