PLA4D: Pixel-Level Uitlijningen voor Tekst-naar-4D Gaussische Splatting

PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting

May 30, 2024

Auteurs: Qiaowei Miao, Yawei Luo, Yi Yang

cs.AI

Samenvatting

Naarmate tekst-geconditioneerde diffusiemodellen (DMs) doorbraken bereiken in beeld-, video- en 3D-generatie, is de focus van de onderzoeksgemeenschap verschoven naar de uitdagendere taak van tekst-naar-4D-synthese, waarbij een temporele dimensie wordt geïntroduceerd om dynamische 3D-objecten te genereren. In deze context identificeren we Score Distillation Sampling (SDS), een veelgebruikte techniek voor tekst-naar-3D-synthese, als een belangrijke belemmering voor tekst-naar-4D-prestaties vanwege zijn Janus-faced en textuur-onrealistische problemen in combinatie met hoge computationele kosten. In dit artikel stellen we Pixel-Level Alignments for Text-to-4D Gaussian Splatting (PLA4D) voor, een nieuwe methode die tekst-naar-videoframes gebruikt als expliciete pixeluitlijningsdoelen om statische 3D-objecten te genereren en beweging erin te injecteren. Specifiek introduceren we Focal Alignment om cameraposes te kalibreren voor rendering en GS-Mesh Contrastive Learning om geometrische prioriteiten te destilleren uit gerenderde beeldcontrasten op pixelniveau. Daarnaast ontwikkelen we Motion Alignment met behulp van een vervormingsnetwerk om veranderingen in Gaussians aan te sturen en implementeren we Reference Refinement voor gladde 4D-objectoppervlakken. Deze technieken stellen 4D Gaussian Splatting in staat om geometrie, textuur en beweging uit te lijnen met gegenereerde video's op pixelniveau. In vergelijking met eerdere methoden produceert PLA4D gesynthetiseerde uitvoer met betere textuurdetails in minder tijd en vermindert het effectief het Janus-faced-probleem. PLA4D is volledig geïmplementeerd met open-source modellen en biedt een toegankelijke, gebruiksvriendelijke en veelbelovende richting voor 4D-digitale contentcreatie. Onze projectpagina: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.

English

As text-conditioned diffusion models (DMs) achieve breakthroughs in image, video, and 3D generation, the research community's focus has shifted to the more challenging task of text-to-4D synthesis, which introduces a temporal dimension to generate dynamic 3D objects. In this context, we identify Score Distillation Sampling (SDS), a widely used technique for text-to-3D synthesis, as a significant hindrance to text-to-4D performance due to its Janus-faced and texture-unrealistic problems coupled with high computational costs. In this paper, we propose Pixel-Level Alignments for Text-to-4D Gaussian Splatting (PLA4D), a novel method that utilizes text-to-video frames as explicit pixel alignment targets to generate static 3D objects and inject motion into them. Specifically, we introduce Focal Alignment to calibrate camera poses for rendering and GS-Mesh Contrastive Learning to distill geometry priors from rendered image contrasts at the pixel level. Additionally, we develop Motion Alignment using a deformation network to drive changes in Gaussians and implement Reference Refinement for smooth 4D object surfaces. These techniques enable 4D Gaussian Splatting to align geometry, texture, and motion with generated videos at the pixel level. Compared to previous methods, PLA4D produces synthesized outputs with better texture details in less time and effectively mitigates the Janus-faced problem. PLA4D is fully implemented using open-source models, offering an accessible, user-friendly, and promising direction for 4D digital content creation. Our project page: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.