PLA4D: Alinhamentos em Nível de Pixel para Texto para Splatting Gaussiano 4D

PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting

May 30, 2024

Autores: Qiaowei Miao, Yawei Luo, Yi Yang

cs.AI

Resumo

À medida que os modelos de difusão condicionados por texto (DMs) alcançam avanços na geração de imagens, vídeos e objetos 3D, o foco da comunidade de pesquisa tem se voltado para a tarefa mais desafiadora de síntese de texto para 4D, que introduz uma dimensão temporal para gerar objetos 3D dinâmicos. Nesse contexto, identificamos a Amostragem por Destilação de Pontuação (SDS), uma técnica amplamente utilizada para síntese de texto para 3D, como um obstáculo significativo para o desempenho em texto para 4D, devido aos seus problemas de faces múltiplas (Janus-faced) e texturas irreais, aliados a altos custos computacionais. Neste artigo, propomos Alinhamentos em Nível de Pixel para Texto para 4D com Splatting Gaussiano (PLA4D), um método novo que utiliza quadros de vídeo gerados a partir de texto como alvos explícitos de alinhamento de pixel para gerar objetos 3D estáticos e injetar movimento neles. Especificamente, introduzimos o Alinhamento Focal para calibrar as poses da câmera para renderização e a Aprendizagem Contrastiva GS-Mesh para destilar prioridades geométricas a partir de contrastes de imagens renderizadas em nível de pixel. Além disso, desenvolvemos o Alinhamento de Movimento usando uma rede de deformação para impulsionar mudanças nos Gaussianos e implementamos o Refinamento de Referência para superfícies suaves de objetos 4D. Essas técnicas permitem que o Splatting Gaussiano 4D alinhe geometria, textura e movimento com vídeos gerados em nível de pixel. Em comparação com métodos anteriores, o PLA4D produz saídas sintetizadas com melhores detalhes de textura em menos tempo e mitiga efetivamente o problema de faces múltiplas. O PLA4D é totalmente implementado usando modelos de código aberto, oferecendo uma direção acessível, amigável e promissora para a criação de conteúdo digital 4D. Nossa página do projeto: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.

English

As text-conditioned diffusion models (DMs) achieve breakthroughs in image, video, and 3D generation, the research community's focus has shifted to the more challenging task of text-to-4D synthesis, which introduces a temporal dimension to generate dynamic 3D objects. In this context, we identify Score Distillation Sampling (SDS), a widely used technique for text-to-3D synthesis, as a significant hindrance to text-to-4D performance due to its Janus-faced and texture-unrealistic problems coupled with high computational costs. In this paper, we propose Pixel-Level Alignments for Text-to-4D Gaussian Splatting (PLA4D), a novel method that utilizes text-to-video frames as explicit pixel alignment targets to generate static 3D objects and inject motion into them. Specifically, we introduce Focal Alignment to calibrate camera poses for rendering and GS-Mesh Contrastive Learning to distill geometry priors from rendered image contrasts at the pixel level. Additionally, we develop Motion Alignment using a deformation network to drive changes in Gaussians and implement Reference Refinement for smooth 4D object surfaces. These techniques enable 4D Gaussian Splatting to align geometry, texture, and motion with generated videos at the pixel level. Compared to previous methods, PLA4D produces synthesized outputs with better texture details in less time and effectively mitigates the Janus-faced problem. PLA4D is fully implemented using open-source models, offering an accessible, user-friendly, and promising direction for 4D digital content creation. Our project page: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.