Repaint123: Schnelle und hochwertige 3D-Generierung aus einem Bild mit progressiv kontrollierbarem 2D-Neubemalen

Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting

December 20, 2023

Autoren: Junwu Zhang, Zhenyu Tang, Yatian Pang, Xinhua Cheng, Peng Jin, Yida Wei, Wangbo Yu, Munan Ning, Li Yuan

cs.AI

Zusammenfassung

Aktuelle Methoden zur 3D-Generierung aus einem einzelnen Bild verwenden häufig Score Distillation Sampling (SDS). Trotz der beeindruckenden Ergebnisse gibt es mehrere Mängel, darunter Inkonsistenz in der Mehransichtigkeit, übermäßig gesättigte und geglättete Texturen sowie eine langsame Generierungsgeschwindigkeit. Um diese Mängel zu beheben, präsentieren wir Repaint123, um die Mehransicht-Voreingenommenheit und die Texturverschlechterung zu verringern und den Generierungsprozess zu beschleunigen. Die Kernidee besteht darin, die leistungsstarke Bildgenerierungsfähigkeit des 2D-Diffusionsmodells mit der Texturausrichtungsfähigkeit der Repainting-Strategie zu kombinieren, um hochwertige, konsistente Mehransichtsbilder zu erzeugen. Wir schlagen weiterhin eine sichtbarkeitsabhängige adaptive Repainting-Stärke für Überlappungsbereiche vor, um die Qualität der generierten Bilder im Repainting-Prozess zu verbessern. Die erzeugten hochwertigen und mehransichtskonsistenten Bilder ermöglichen die Verwendung eines einfachen Mean Square Error (MSE)-Verlusts für die schnelle 3D-Inhaltsgenerierung. Wir führen umfangreiche Experimente durch und zeigen, dass unsere Methode in der Lage ist, hochwertige 3D-Inhalte mit Mehransichtskonsistenz und feinen Texturen in 2 Minuten von Grund auf zu generieren. Der Code ist unter https://github.com/junwuzhang19/repaint123 verfügbar.

English

Recent one image to 3D generation methods commonly adopt Score Distillation Sampling (SDS). Despite the impressive results, there are multiple deficiencies including multi-view inconsistency, over-saturated and over-smoothed textures, as well as the slow generation speed. To address these deficiencies, we present Repaint123 to alleviate multi-view bias as well as texture degradation and speed up the generation process. The core idea is to combine the powerful image generation capability of the 2D diffusion model and the texture alignment ability of the repainting strategy for generating high-quality multi-view images with consistency. We further propose visibility-aware adaptive repainting strength for overlap regions to enhance the generated image quality in the repainting process. The generated high-quality and multi-view consistent images enable the use of simple Mean Square Error (MSE) loss for fast 3D content generation. We conduct extensive experiments and show that our method has a superior ability to generate high-quality 3D content with multi-view consistency and fine textures in 2 minutes from scratch. Code is at https://github.com/junwuzhang19/repaint123.