PLA4D: Pixelgenaue Ausrichtungen für die Umwandlung von Text in 4D-Gauß-Splatting

PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting

May 30, 2024

Autoren: Qiaowei Miao, Yawei Luo, Yi Yang

cs.AI

Zusammenfassung

Da textkonditionierte Diffusionsmodelle (DMs) Durchbrüche in der Bild-, Video- und 3D-Generierung erzielen, hat sich der Fokus der Forschungsgemeinschaft auf die anspruchsvollere Aufgabe der Text-zu-4D-Synthese verlagert, die eine zeitliche Dimension einführt, um dynamische 3D-Objekte zu generieren. In diesem Zusammenhang identifizieren wir Score Distillation Sampling (SDS), eine weit verbreitete Technik für die Text-zu-3D-Synthese, als signifikante Hürde für die Leistung bei der Text-zu-4D-Synthese aufgrund ihrer Janus-gesichtigen und texturunrealistischen Probleme in Verbindung mit hohen Rechenkosten. In diesem Paper schlagen wir Pixel-Level-Abstimmungen für die Text-zu-4D-Gauß-Splatting (PLA4D) vor, eine neuartige Methode, die Text-zu-Video-Frames als explizite Pixel-Abstimmungsziele nutzt, um statische 3D-Objekte zu generieren und Bewegung in sie einzufügen. Speziell führen wir Focal Alignment ein, um Kamerapositionen für die Darstellung zu kalibrieren, und GS-Mesh Contrastive Learning, um Geometrieprioritäten aus gerenderten Bildkontrasten auf Pixel-Ebene zu destillieren. Darüber hinaus entwickeln wir Motion Alignment unter Verwendung eines Deformationsnetzwerks, um Änderungen in Gaußschen zu steuern, und implementieren Reference Refinement für glatte 4D-Objektoberflächen. Diese Techniken ermöglichen es der 4D-Gauß-Splatting, Geometrie, Textur und Bewegung mit generierten Videos auf Pixel-Ebene abzustimmen. Im Vergleich zu früheren Methoden erzeugt PLA4D synthetisierte Ausgaben mit besseren Texturdetails in kürzerer Zeit und mildert effektiv das Janus-gesichtige Problem. PLA4D wird vollständig unter Verwendung von Open-Source-Modellen implementiert und bietet eine zugängliche, benutzerfreundliche und vielversprechende Richtung für die Erstellung von 4D-Digitalinhalten. Unsere Projektseite: https://github.com/MiaoQiaowei/PLA4D.github.io.

English

As text-conditioned diffusion models (DMs) achieve breakthroughs in image, video, and 3D generation, the research community's focus has shifted to the more challenging task of text-to-4D synthesis, which introduces a temporal dimension to generate dynamic 3D objects. In this context, we identify Score Distillation Sampling (SDS), a widely used technique for text-to-3D synthesis, as a significant hindrance to text-to-4D performance due to its Janus-faced and texture-unrealistic problems coupled with high computational costs. In this paper, we propose Pixel-Level Alignments for Text-to-4D Gaussian Splatting (PLA4D), a novel method that utilizes text-to-video frames as explicit pixel alignment targets to generate static 3D objects and inject motion into them. Specifically, we introduce Focal Alignment to calibrate camera poses for rendering and GS-Mesh Contrastive Learning to distill geometry priors from rendered image contrasts at the pixel level. Additionally, we develop Motion Alignment using a deformation network to drive changes in Gaussians and implement Reference Refinement for smooth 4D object surfaces. These techniques enable 4D Gaussian Splatting to align geometry, texture, and motion with generated videos at the pixel level. Compared to previous methods, PLA4D produces synthesized outputs with better texture details in less time and effectively mitigates the Janus-faced problem. PLA4D is fully implemented using open-source models, offering an accessible, user-friendly, and promising direction for 4D digital content creation. Our project page: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.