Loopy: Die Bändigung eines Audio-gesteuerten Porträt-Avatars mit langfristiger Bewegungsabhängigkeit

Loopy: Taming Audio-Driven Portrait Avatar with Long-Term Motion Dependency

September 4, 2024

Autoren: Jianwen Jiang, Chao Liang, Jiaqi Yang, Gaojie Lin, Tianyun Zhong, Yanbo Zheng

cs.AI

Zusammenfassung

Mit der Einführung von diffusionsbasierten Videogenerierungstechniken hat die audio-konditionierte menschliche Videogenerierung kürzlich bedeutende Durchbrüche sowohl in der Natürlichkeit der Bewegung als auch in der Synthese von Porträt-Details erzielt. Aufgrund der begrenzten Steuerung von Audio-Signalen bei der Steuerung menschlicher Bewegungen fügen bestehende Methoden oft zusätzliche räumliche Signale hinzu, um Bewegungen zu stabilisieren, was die Natürlichkeit und Freiheit der Bewegung beeinträchtigen kann. In diesem Paper schlagen wir ein End-to-End-Audio-Only-konditioniertes Videodiffusionsmodell namens Loopy vor. Speziell haben wir ein inter- und intra-Clip-Zeitmodul und ein Audio-zu-Latenzmodul entworfen, die es dem Modell ermöglichen, langfristige Bewegungsinformationen aus den Daten zu nutzen, um natürliche Bewegungsmuster zu erlernen und die Korrelation zwischen Audio-Porträt-Bewegung zu verbessern. Diese Methode beseitigt die Notwendigkeit für manuell spezifizierte räumliche Bewegungsvorlagen, die in bestehenden Methoden verwendet werden, um Bewegungen während der Inferenz zu beschränken. Umfangreiche Experimente zeigen, dass Loopy aktuelle audiogetriebene Porträt-Diffusionsmodelle übertrifft und in verschiedenen Szenarien realistischere und qualitativ hochwertigere Ergebnisse liefert.

English

With the introduction of diffusion-based video generation techniques, audio-conditioned human video generation has recently achieved significant breakthroughs in both the naturalness of motion and the synthesis of portrait details. Due to the limited control of audio signals in driving human motion, existing methods often add auxiliary spatial signals to stabilize movements, which may compromise the naturalness and freedom of motion. In this paper, we propose an end-to-end audio-only conditioned video diffusion model named Loopy. Specifically, we designed an inter- and intra-clip temporal module and an audio-to-latents module, enabling the model to leverage long-term motion information from the data to learn natural motion patterns and improving audio-portrait movement correlation. This method removes the need for manually specified spatial motion templates used in existing methods to constrain motion during inference. Extensive experiments show that Loopy outperforms recent audio-driven portrait diffusion models, delivering more lifelike and high-quality results across various scenarios.