PLA4D: Allineamenti a Livello di Pixel per il Text-to-4D Gaussian Splatting

PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting

May 30, 2024

Autori: Qiaowei Miao, Yawei Luo, Yi Yang

cs.AI

Abstract

Mentre i modelli di diffusione condizionati da testo (DMs) raggiungono traguardi nella generazione di immagini, video e oggetti 3D, l'attenzione della comunità di ricerca si è spostata sul compito più impegnativo della sintesi da testo a 4D, che introduce una dimensione temporale per generare oggetti 3D dinamici. In questo contesto, identifichiamo il Campionamento di Distillazione del Punteggio (SDS), una tecnica ampiamente utilizzata per la sintesi da testo a 3D, come un significativo ostacolo alle prestazioni della sintesi da testo a 4D a causa dei suoi problemi di facce multiple e texture irrealistiche, uniti a elevati costi computazionali. In questo articolo, proponiamo Allineamenti a Livello di Pixel per il Gaussian Splatting da Testo a 4D (PLA4D), un metodo innovativo che utilizza frame da testo a video come obiettivi di allineamento pixel espliciti per generare oggetti 3D statici e iniettare movimento in essi. Nello specifico, introduciamo l'Allineamento Focale per calibrare le pose della fotocamera per il rendering e l'Apprendimento Contrastivo GS-Mesh per distillare prior geometriche dai contrasti delle immagini renderizzate a livello di pixel. Inoltre, sviluppiamo l'Allineamento del Movimento utilizzando una rete di deformazione per guidare i cambiamenti nei Gaussiani e implementiamo il Raffinamento di Riferimento per superfici di oggetti 4D più fluide. Queste tecniche consentono al Gaussian Splatting 4D di allineare geometria, texture e movimento con i video generati a livello di pixel. Rispetto ai metodi precedenti, PLA4D produce output sintetizzati con migliori dettagli di texture in meno tempo e mitiga efficacemente il problema delle facce multiple. PLA4D è completamente implementato utilizzando modelli open-source, offrendo una direzione accessibile, user-friendly e promettente per la creazione di contenuti digitali 4D. La nostra pagina del progetto: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.

English

As text-conditioned diffusion models (DMs) achieve breakthroughs in image, video, and 3D generation, the research community's focus has shifted to the more challenging task of text-to-4D synthesis, which introduces a temporal dimension to generate dynamic 3D objects. In this context, we identify Score Distillation Sampling (SDS), a widely used technique for text-to-3D synthesis, as a significant hindrance to text-to-4D performance due to its Janus-faced and texture-unrealistic problems coupled with high computational costs. In this paper, we propose Pixel-Level Alignments for Text-to-4D Gaussian Splatting (PLA4D), a novel method that utilizes text-to-video frames as explicit pixel alignment targets to generate static 3D objects and inject motion into them. Specifically, we introduce Focal Alignment to calibrate camera poses for rendering and GS-Mesh Contrastive Learning to distill geometry priors from rendered image contrasts at the pixel level. Additionally, we develop Motion Alignment using a deformation network to drive changes in Gaussians and implement Reference Refinement for smooth 4D object surfaces. These techniques enable 4D Gaussian Splatting to align geometry, texture, and motion with generated videos at the pixel level. Compared to previous methods, PLA4D produces synthesized outputs with better texture details in less time and effectively mitigates the Janus-faced problem. PLA4D is fully implemented using open-source models, offering an accessible, user-friendly, and promising direction for 4D digital content creation. Our project page: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.