LucidDreamer: Verso la Generazione Testo-3D ad Alta Fedeltà tramite l'Apprendimento per Corrispondenza di Punteggi Intervallari

LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching

November 19, 2023

Autori: Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, Yingcong Chen

cs.AI

Abstract

I recenti progressi nella generazione di testo-3D rappresentano una pietra miliare significativa nei modelli generativi, aprendo nuove possibilità per la creazione di asset 3D immaginativi in vari scenari del mondo reale. Sebbene i recenti avanzamenti nella generazione testo-3D abbiano mostrato risultati promettenti, spesso non riescono a produrre modelli 3D dettagliati e di alta qualità. Questo problema è particolarmente evidente poiché molti metodi si basano sul Campionamento di Distillazione del Punteggio (Score Distillation Sampling, SDS). Questo articolo identifica una carenza significativa nell'SDS, ovvero il fatto che fornisce una direzione di aggiornamento inconsistente e di bassa qualità per il modello 3D, causando un effetto di eccessiva levigatezza. Per affrontare questo problema, proponiamo un nuovo approccio chiamato Interval Score Matching (ISM). L'ISM utilizza traiettorie di diffusione deterministiche e impiega il matching del punteggio basato su intervalli per contrastare l'eccessiva levigatezza. Inoltre, integriamo il 3D Gaussian Splatting nella nostra pipeline di generazione testo-3D. Esperimenti estensivi dimostrano che il nostro modello supera ampiamente lo stato dell'arte in termini di qualità ed efficienza di addestramento.

English

The recent advancements in text-to-3D generation mark a significant milestone in generative models, unlocking new possibilities for creating imaginative 3D assets across various real-world scenarios. While recent advancements in text-to-3D generation have shown promise, they often fall short in rendering detailed and high-quality 3D models. This problem is especially prevalent as many methods base themselves on Score Distillation Sampling (SDS). This paper identifies a notable deficiency in SDS, that it brings inconsistent and low-quality updating direction for the 3D model, causing the over-smoothing effect. To address this, we propose a novel approach called Interval Score Matching (ISM). ISM employs deterministic diffusing trajectories and utilizes interval-based score matching to counteract over-smoothing. Furthermore, we incorporate 3D Gaussian Splatting into our text-to-3D generation pipeline. Extensive experiments show that our model largely outperforms the state-of-the-art in quality and training efficiency.