LucidDreamer: Hacia la Generación de Texto a 3D de Alta Fidelidad mediante Emparejamiento de Puntuación por Intervalos

LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching

November 19, 2023

Autores: Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, Yingcong Chen

cs.AI

Resumen

Los recientes avances en la generación de texto a 3D marcan un hito significativo en los modelos generativos, desbloqueando nuevas posibilidades para la creación de activos 3D imaginativos en diversos escenarios del mundo real. Aunque los avances recientes en la generación de texto a 3D han mostrado promesa, a menudo se quedan cortos en la representación de modelos 3D detallados y de alta calidad. Este problema es especialmente prevalente, ya que muchos métodos se basan en el Muestreo de Distilación de Puntajes (SDS, por sus siglas en inglés). Este artículo identifica una deficiencia notable en el SDS: proporciona una dirección de actualización inconsistente y de baja calidad para el modelo 3D, lo que provoca un efecto de sobresuavizado. Para abordar este problema, proponemos un enfoque novedoso llamado Emparejamiento de Puntajes por Intervalos (ISM, por sus siglas en inglés). El ISM emplea trayectorias de difusión deterministas y utiliza un emparejamiento de puntajes basado en intervalos para contrarrestar el sobresuavizado. Además, incorporamos el Splatting Gaussiano 3D en nuestra canalización de generación de texto a 3D. Experimentos exhaustivos demuestran que nuestro modelo supera ampliamente al estado del arte en calidad y eficiencia de entrenamiento.

English

The recent advancements in text-to-3D generation mark a significant milestone in generative models, unlocking new possibilities for creating imaginative 3D assets across various real-world scenarios. While recent advancements in text-to-3D generation have shown promise, they often fall short in rendering detailed and high-quality 3D models. This problem is especially prevalent as many methods base themselves on Score Distillation Sampling (SDS). This paper identifies a notable deficiency in SDS, that it brings inconsistent and low-quality updating direction for the 3D model, causing the over-smoothing effect. To address this, we propose a novel approach called Interval Score Matching (ISM). ISM employs deterministic diffusing trajectories and utilizes interval-based score matching to counteract over-smoothing. Furthermore, we incorporate 3D Gaussian Splatting into our text-to-3D generation pipeline. Extensive experiments show that our model largely outperforms the state-of-the-art in quality and training efficiency.