Audio-visuell gesteuerte Videodiffusion mit maskierter selektiver Zustandsraummodellierung für die natürliche Erzeugung von sprechenden Köpfen

Audio-visual Controlled Video Diffusion with Masked Selective State Spaces Modeling for Natural Talking Head Generation

April 3, 2025

Autoren: Fa-Ting Hong, Zunnan Xu, Zixiang Zhou, Jun Zhou, Xiu Li, Qin Lin, Qinglin Lu, Dan Xu

cs.AI

Zusammenfassung

Die Synthese von sprechenden Köpfen ist entscheidend für virtuelle Avatare und die Mensch-Computer-Interaktion. Die meisten bestehenden Methoden sind jedoch typischerweise darauf beschränkt, Steuerung durch eine einzige primäre Modalität zu akzeptieren, was ihre praktische Nutzbarkeit einschränkt. Aus diesem Grund stellen wir ACTalker vor, ein end-to-end Video-Diffusionsframework, das sowohl die Steuerung durch mehrere Signale als auch durch ein einzelnes Signal für die Generierung von Videos sprechender Köpfe unterstützt. Für die Mehrfachsteuerung entwerfen wir eine parallele Mamba-Struktur mit mehreren Zweigen, wobei jeder Zweig ein separates Steuersignal nutzt, um spezifische Gesichtsregionen zu kontrollieren. Ein Gate-Mechanismus wird über alle Zweige hinweg angewendet, um eine flexible Steuerung der Videogenerierung zu ermöglichen. Um eine natürliche Koordination des gesteuerten Videos sowohl zeitlich als auch räumlich zu gewährleisten, verwenden wir die Mamba-Struktur, die es den Steuersignalen ermöglicht, Feature-Tokens in beiden Dimensionen in jedem Zweig zu manipulieren. Zusätzlich führen wir eine Mask-Drop-Strategie ein, die es jedem Steuersignal ermöglicht, seine entsprechende Gesichtsregion innerhalb der Mamba-Struktur unabhängig zu kontrollieren und so Steuerungskonflikte zu vermeiden. Experimentelle Ergebnisse zeigen, dass unsere Methode natürlich aussehende Gesichtsvideos erzeugt, die durch verschiedene Signale gesteuert werden, und dass die Mamba-Schicht mehrere Steuermodalitäten nahtlos und konfliktfrei integriert.

English

Talking head synthesis is vital for virtual avatars and human-computer interaction. However, most existing methods are typically limited to accepting control from a single primary modality, restricting their practical utility. To this end, we introduce ACTalker, an end-to-end video diffusion framework that supports both multi-signals control and single-signal control for talking head video generation. For multiple control, we design a parallel mamba structure with multiple branches, each utilizing a separate driving signal to control specific facial regions. A gate mechanism is applied across all branches, providing flexible control over video generation. To ensure natural coordination of the controlled video both temporally and spatially, we employ the mamba structure, which enables driving signals to manipulate feature tokens across both dimensions in each branch. Additionally, we introduce a mask-drop strategy that allows each driving signal to independently control its corresponding facial region within the mamba structure, preventing control conflicts. Experimental results demonstrate that our method produces natural-looking facial videos driven by diverse signals and that the mamba layer seamlessly integrates multiple driving modalities without conflict.