LucidDreamer: Rumo à Geração de Texto para 3D de Alta Fidelidade via Correspondência de Pontuação Intervalar

LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching

November 19, 2023

Autores: Yixun Liang, Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, Yingcong Chen

cs.AI

Resumo

Os recentes avanços na geração de texto para 3D marcam um marco significativo nos modelos generativos, abrindo novas possibilidades para a criação de ativos 3D imaginativos em diversos cenários do mundo real. Embora os progressos recentes na geração de texto para 3D tenham mostrado potencial, eles frequentemente falham em renderizar modelos 3D detalhados e de alta qualidade. Esse problema é especialmente prevalente, pois muitos métodos se baseiam na Amostragem por Distilação de Pontuação (Score Distillation Sampling - SDS). Este artigo identifica uma deficiência notável no SDS: ele traz uma direção de atualização inconsistente e de baixa qualidade para o modelo 3D, causando o efeito de super-suavização. Para resolver isso, propomos uma nova abordagem chamada Correspondência de Pontuação por Intervalo (Interval Score Matching - ISM). O ISM emprega trajetórias de difusão determinísticas e utiliza correspondência de pontuação baseada em intervalos para combater a super-suavização. Além disso, incorporamos o Splatting Gaussiano 3D em nosso pipeline de geração de texto para 3D. Experimentos extensivos mostram que nosso modelo supera amplamente o estado da arte em qualidade e eficiência de treinamento.

English

The recent advancements in text-to-3D generation mark a significant milestone in generative models, unlocking new possibilities for creating imaginative 3D assets across various real-world scenarios. While recent advancements in text-to-3D generation have shown promise, they often fall short in rendering detailed and high-quality 3D models. This problem is especially prevalent as many methods base themselves on Score Distillation Sampling (SDS). This paper identifies a notable deficiency in SDS, that it brings inconsistent and low-quality updating direction for the 3D model, causing the over-smoothing effect. To address this, we propose a novel approach called Interval Score Matching (ISM). ISM employs deterministic diffusing trajectories and utilizes interval-based score matching to counteract over-smoothing. Furthermore, we incorporate 3D Gaussian Splatting into our text-to-3D generation pipeline. Extensive experiments show that our model largely outperforms the state-of-the-art in quality and training efficiency.