Human4DiT: Генерация видео с человекоподобным образом с использованием 4D диффузии трансформера

Human4DiT: Free-view Human Video Generation with 4D Diffusion Transformer

May 27, 2024

Авторы: Ruizhi Shao, Youxin Pang, Zerong Zheng, Jingxiang Sun, Yebin Liu

cs.AI

Аннотация

Мы представляем новый подход к генерации высококачественных, пространственно-временно согласованных видео с человеком из одного изображения под произвольными точками зрения. Наша структура объединяет преимущества U-Net для точной инъекции условий и трансформаторов диффузии для захвата глобальных корреляций между точками зрения и временем. Основой является каскадная 4D архитектура трансформаторов, факторизующая внимание между видами, временем и пространственными измерениями, обеспечивая эффективное моделирование 4D пространства. Точное условие достигается путем инъекции идентичности человека, параметров камеры и временных сигналов в соответствующие трансформаторы. Для обучения этой модели мы создаем многомерный набор данных, охватывающий изображения, видео, многозначные данные и сканирования 3D/4D, а также многомерную стратегию обучения. Наш подход преодолевает ограничения предыдущих методов на основе GAN или моделей диффузии на основе UNet, которые испытывают трудности с комплексными движениями и изменениями точек зрения. Через обширные эксперименты мы демонстрируем способность нашего метода синтезировать реалистичные, согласованные и свободного просмотра видео с человеком, открывая путь к передовым мультимедийным приложениям в областях, таких как виртуальная реальность и анимация. Наш веб-сайт проекта: https://human4dit.github.io.

English

We present a novel approach for generating high-quality, spatio-temporally coherent human videos from a single image under arbitrary viewpoints. Our framework combines the strengths of U-Nets for accurate condition injection and diffusion transformers for capturing global correlations across viewpoints and time. The core is a cascaded 4D transformer architecture that factorizes attention across views, time, and spatial dimensions, enabling efficient modeling of the 4D space. Precise conditioning is achieved by injecting human identity, camera parameters, and temporal signals into the respective transformers. To train this model, we curate a multi-dimensional dataset spanning images, videos, multi-view data and 3D/4D scans, along with a multi-dimensional training strategy. Our approach overcomes the limitations of previous methods based on GAN or UNet-based diffusion models, which struggle with complex motions and viewpoint changes. Through extensive experiments, we demonstrate our method's ability to synthesize realistic, coherent and free-view human videos, paving the way for advanced multimedia applications in areas such as virtual reality and animation. Our project website is https://human4dit.github.io.