PLA4D: Выравнивание на уровне пикселей для преобразования текста в 4D гауссово сглаживание.

PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting

May 30, 2024

Авторы: Qiaowei Miao, Yawei Luo, Yi Yang

cs.AI

Аннотация

Поскольку модели диффузии, зависящие от текста (DMs), достигли прорыва в генерации изображений, видео и 3D, внимание исследовательского сообщества переключилось на более сложную задачу синтеза текста в 4D, которая вводит временное измерение для создания динамических 3D объектов. В этом контексте мы выявляем Score Distillation Sampling (SDS), широко используемую технику для синтеза текста в 3D, как значительное препятствие для производительности текста в 4D из-за проблем двойственности и нереалистичности текстуры, связанных с высокими вычислительными затратами. В данной статье мы предлагаем Pixel-Level Alignments для сглаживания текста в 4D методом Gaussian Splatting (PLA4D), новый метод, который использует кадры текста в видео в качестве явных целевых точек выравнивания пикселей для создания статических 3D объектов и внедрения в них движения. В частности, мы представляем Focal Alignment для калибровки поз камеры для рендеринга и GS-Mesh Contrastive Learning для усвоения геометрических априорных знаний изображений, полученных на уровне пикселей. Кроме того, мы разрабатываем Motion Alignment с использованием сети деформации для управления изменениями в гауссианах и реализуем Reference Refinement для плавных поверхностей объектов в 4D. Эти техники позволяют сглаживанию гауссиана в 4D выравнивать геометрию, текстуру и движение с созданными видео на уровне пикселей. По сравнению с предыдущими методами PLA4D производит синтезированные результаты с лучшими деталями текстуры за меньшее время и эффективно смягчает проблему двойственности. PLA4D полностью реализован с использованием моделей с открытым исходным кодом, предлагая доступное, удобное в использовании и многообещающее направление для создания 4D цифрового контента. Наша страница проекта: https://github.com/MiaoQiaowei/PLA4D.github.io.

English

As text-conditioned diffusion models (DMs) achieve breakthroughs in image, video, and 3D generation, the research community's focus has shifted to the more challenging task of text-to-4D synthesis, which introduces a temporal dimension to generate dynamic 3D objects. In this context, we identify Score Distillation Sampling (SDS), a widely used technique for text-to-3D synthesis, as a significant hindrance to text-to-4D performance due to its Janus-faced and texture-unrealistic problems coupled with high computational costs. In this paper, we propose Pixel-Level Alignments for Text-to-4D Gaussian Splatting (PLA4D), a novel method that utilizes text-to-video frames as explicit pixel alignment targets to generate static 3D objects and inject motion into them. Specifically, we introduce Focal Alignment to calibrate camera poses for rendering and GS-Mesh Contrastive Learning to distill geometry priors from rendered image contrasts at the pixel level. Additionally, we develop Motion Alignment using a deformation network to drive changes in Gaussians and implement Reference Refinement for smooth 4D object surfaces. These techniques enable 4D Gaussian Splatting to align geometry, texture, and motion with generated videos at the pixel level. Compared to previous methods, PLA4D produces synthesized outputs with better texture details in less time and effectively mitigates the Janus-faced problem. PLA4D is fully implemented using open-source models, offering an accessible, user-friendly, and promising direction for 4D digital content creation. Our project page: https://github.com/MiaoQiaowei/PLA4D.github.io{https://github.com/MiaoQiaowei/PLA4D.github.io}.