LucidDreamer: Auf dem Weg zur hochauflösenden Text-zu-3D-Generierung durch Intervall-Score-Matching

LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching

November 19, 2023

Autoren: Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, Yingcong Chen

cs.AI

Zusammenfassung

Die jüngsten Fortschritte in der Text-zu-3D-Generierung markieren einen bedeutenden Meilenstein in generativen Modellen und eröffnen neue Möglichkeiten zur Erstellung kreativer 3D-Assets in verschiedenen realen Szenarien. Obwohl die jüngsten Fortschritte in der Text-zu-3D-Generierung vielversprechend sind, bleiben sie oft hinter der Erzeugung detaillierter und hochwertiger 3D-Modelle zurück. Dieses Problem ist besonders ausgeprägt, da viele Methoden auf Score Distillation Sampling (SDS) basieren. In diesem Papier wird eine bemerkenswerte Schwäche von SDS identifiziert: Es liefert inkonsistente und qualitativ minderwertige Aktualisierungsrichtungen für das 3D-Modell, was zu einem übermäßigen Glättungseffekt führt. Um dies zu beheben, schlagen wir einen neuartigen Ansatz namens Interval Score Matching (ISM) vor. ISM verwendet deterministische Diffusionspfade und nutzt intervallbasiertes Score Matching, um der Überglättung entgegenzuwirken. Darüber hinaus integrieren wir 3D Gaussian Splatting in unsere Text-zu-3D-Generierungspipeline. Umfangreiche Experimente zeigen, dass unser Modell in Bezug auf Qualität und Trainings effizienz den Stand der Technik deutlich übertrifft.

English

The recent advancements in text-to-3D generation mark a significant milestone in generative models, unlocking new possibilities for creating imaginative 3D assets across various real-world scenarios. While recent advancements in text-to-3D generation have shown promise, they often fall short in rendering detailed and high-quality 3D models. This problem is especially prevalent as many methods base themselves on Score Distillation Sampling (SDS). This paper identifies a notable deficiency in SDS, that it brings inconsistent and low-quality updating direction for the 3D model, causing the over-smoothing effect. To address this, we propose a novel approach called Interval Score Matching (ISM). ISM employs deterministic diffusing trajectories and utilizes interval-based score matching to counteract over-smoothing. Furthermore, we incorporate 3D Gaussian Splatting into our text-to-3D generation pipeline. Extensive experiments show that our model largely outperforms the state-of-the-art in quality and training efficiency.