Loopy: Domando un Avatar de Retrato Impulsado por Audio con Dependencia de Movimiento a Largo Plazo

Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency

September 4, 2024

Autores: Jianwen Jiang, Chao Liang, Jiaqi Yang, Gaojie Lin, Tianyun Zhong, Yanbo Zheng

cs.AI

Resumen

Con la introducción de técnicas de generación de video basadas en difusión, la generación de video humano condicionada por audio ha logrado recientemente avances significativos tanto en la naturalidad del movimiento como en la síntesis de detalles de retratos. Debido al control limitado de las señales de audio en el impulso del movimiento humano, los métodos existentes a menudo añaden señales espaciales auxiliares para estabilizar los movimientos, lo cual puede comprometer la naturalidad y la libertad de movimiento. En este artículo, proponemos un modelo de difusión de video condicionado solo por audio de extremo a extremo llamado Loopy. Específicamente, diseñamos un módulo temporal inter e intra-clip y un módulo de audio a latentes, permitiendo que el modelo aproveche la información de movimiento a largo plazo de los datos para aprender patrones de movimiento naturales y mejorar la correlación entre audio y movimiento de retrato. Este método elimina la necesidad de plantillas de movimiento espacial especificadas manualmente utilizadas en métodos existentes para restringir el movimiento durante la inferencia. Experimentos extensos muestran que Loopy supera a los modelos recientes de difusión de retratos impulsados por audio, ofreciendo resultados más realistas y de alta calidad en diversos escenarios.

English

With the introduction of diffusion-based video generation techniques, audio-conditioned human video generation has recently achieved significant breakthroughs in both the naturalness of motion and the synthesis of portrait details. Due to the limited control of audio signals in driving human motion, existing methods often add auxiliary spatial signals to stabilize movements, which may compromise the naturalness and freedom of motion. In this paper, we propose an end-to-end audio-only conditioned video diffusion model named Loopy. Specifically, we designed an inter- and intra-clip temporal module and an audio-to-latents module, enabling the model to leverage long-term motion information from the data to learn natural motion patterns and improving audio-portrait movement correlation. This method removes the need for manually specified spatial motion templates used in existing methods to constrain motion during inference. Extensive experiments show that Loopy outperforms recent audio-driven portrait diffusion models, delivering more lifelike and high-quality results across various scenarios.