PLA4D: Alineaciones a Nivel de Píxel para la Representación de Texto a 4D con Gaussian Splatting

PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting

May 30, 2024

Autores: Qiaowei Miao, Yawei Luo, Yi Yang

cs.AI

Resumen

A medida que los modelos de difusión condicionados por texto (DMs) logran avances en la generación de imágenes, videos y contenido 3D, el enfoque de la comunidad investigadora se ha desplazado hacia la tarea más desafiante de la síntesis de texto a 4D, que introduce una dimensión temporal para generar objetos 3D dinámicos. En este contexto, identificamos el Muestreo de Destilación de Puntuaciones (SDS), una técnica ampliamente utilizada para la síntesis de texto a 3D, como un obstáculo significativo para el rendimiento en texto a 4D debido a sus problemas de caras múltiples (Janus-faced) y texturas poco realistas, junto con altos costos computacionales. En este artículo, proponemos Alineaciones a Nivel de Píxeles para Texto a 4D mediante Gaussian Splatting (PLA4D), un método novedoso que utiliza fotogramas de texto a video como objetivos explícitos de alineación de píxeles para generar objetos 3D estáticos e inyectarles movimiento. Específicamente, introducimos la Alineación Focal para calibrar las poses de la cámara en la renderización y el Aprendizaje Contrastivo GS-Mesh para destilar prioridades geométricas a partir de contrastes de imágenes renderizadas a nivel de píxel. Además, desarrollamos la Alineación de Movimiento utilizando una red de deformación para impulsar cambios en los Gaussianos e implementamos el Refinamiento de Referencia para superficies suaves de objetos 4D. Estas técnicas permiten que el Gaussian Splatting 4D alinee geometría, textura y movimiento con videos generados a nivel de píxel. En comparación con métodos anteriores, PLA4D produce salidas sintetizadas con mejores detalles de textura en menos tiempo y mitiga eficazmente el problema de caras múltiples. PLA4D está completamente implementado utilizando modelos de código abierto, ofreciendo una dirección accesible, fácil de usar y prometedora para la creación de contenido digital 4D. Nuestra página del proyecto: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.

English

As text-conditioned diffusion models (DMs) achieve breakthroughs in image, video, and 3D generation, the research community's focus has shifted to the more challenging task of text-to-4D synthesis, which introduces a temporal dimension to generate dynamic 3D objects. In this context, we identify Score Distillation Sampling (SDS), a widely used technique for text-to-3D synthesis, as a significant hindrance to text-to-4D performance due to its Janus-faced and texture-unrealistic problems coupled with high computational costs. In this paper, we propose Pixel-Level Alignments for Text-to-4D Gaussian Splatting (PLA4D), a novel method that utilizes text-to-video frames as explicit pixel alignment targets to generate static 3D objects and inject motion into them. Specifically, we introduce Focal Alignment to calibrate camera poses for rendering and GS-Mesh Contrastive Learning to distill geometry priors from rendered image contrasts at the pixel level. Additionally, we develop Motion Alignment using a deformation network to drive changes in Gaussians and implement Reference Refinement for smooth 4D object surfaces. These techniques enable 4D Gaussian Splatting to align geometry, texture, and motion with generated videos at the pixel level. Compared to previous methods, PLA4D produces synthesized outputs with better texture details in less time and effectively mitigates the Janus-faced problem. PLA4D is fully implemented using open-source models, offering an accessible, user-friendly, and promising direction for 4D digital content creation. Our project page: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.