LucidDreamer: Op Weg naar Hoogwaardige Tekst-naar-3D Generatie via Interval Score Matching

LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching

November 19, 2023

Auteurs: Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, Yingcong Chen

cs.AI

Samenvatting

De recente vooruitgang in tekst-naar-3D-generatie markeert een belangrijke mijlpaal in generatieve modellen, wat nieuwe mogelijkheden opent voor het creëren van fantasierijke 3D-assets in diverse real-world scenario's. Hoewel recente ontwikkelingen in tekst-naar-3D-generatie veelbelovend zijn, schieten ze vaak tekort in het renderen van gedetailleerde en hoogwaardige 3D-modellen. Dit probleem is vooral prominent omdat veel methoden zich baseren op Score Distillation Sampling (SDS). Dit artikel identificeert een opvallend tekort in SDS, namelijk dat het inconsistente en laagwaardige update-richtingen voor het 3D-model oplevert, wat leidt tot een overmatig gladmakend effect. Om dit aan te pakken, stellen we een nieuwe benadering voor genaamd Interval Score Matching (ISM). ISM maakt gebruik van deterministische diffusietrajecten en past intervalgebaseerde score matching toe om het overmatig gladmaken tegen te gaan. Bovendien integreren we 3D Gaussian Splatting in onze tekst-naar-3D-generatiepipeline. Uitgebreide experimenten tonen aan dat ons model de state-of-the-art aanzienlijk overtreft in kwaliteit en trainings efficiëntie.

English

The recent advancements in text-to-3D generation mark a significant milestone in generative models, unlocking new possibilities for creating imaginative 3D assets across various real-world scenarios. While recent advancements in text-to-3D generation have shown promise, they often fall short in rendering detailed and high-quality 3D models. This problem is especially prevalent as many methods base themselves on Score Distillation Sampling (SDS). This paper identifies a notable deficiency in SDS, that it brings inconsistent and low-quality updating direction for the 3D model, causing the over-smoothing effect. To address this, we propose a novel approach called Interval Score Matching (ISM). ISM employs deterministic diffusing trajectories and utilizes interval-based score matching to counteract over-smoothing. Furthermore, we incorporate 3D Gaussian Splatting into our text-to-3D generation pipeline. Extensive experiments show that our model largely outperforms the state-of-the-art in quality and training efficiency.