Modélisation des espaces d'état sélectifs masqués pour la diffusion vidéo contrôlée audio-visuelle dans la génération de têtes parlantes naturelles

Audio-visual Controlled Video Diffusion with Masked Selective State Spaces Modeling for Natural Talking Head Generation

April 3, 2025

Auteurs: Fa-Ting Hong, Zunnan Xu, Zixiang Zhou, Jun Zhou, Xiu Li, Qin Lin, Qinglin Lu, Dan Xu

cs.AI

Résumé

La synthèse de têtes parlantes est essentielle pour les avatars virtuels et l'interaction homme-machine. Cependant, la plupart des méthodes existantes se limitent généralement à accepter un contrôle à partir d'une seule modalité principale, ce qui restreint leur utilité pratique. À cette fin, nous présentons ACTalker, un framework de diffusion vidéo de bout en bout qui prend en charge à la fois le contrôle multi-signaux et le contrôle mono-signal pour la génération de vidéos de têtes parlantes. Pour le contrôle multiple, nous concevons une structure mamba parallèle avec plusieurs branches, chacune utilisant un signal de contrôle distinct pour manipuler des régions faciales spécifiques. Un mécanisme de porte est appliqué à travers toutes les branches, offrant un contrôle flexible sur la génération vidéo. Pour assurer une coordination naturelle de la vidéo contrôlée à la fois temporellement et spatialement, nous utilisons la structure mamba, qui permet aux signaux de contrôle de manipuler les tokens de caractéristiques dans les deux dimensions au sein de chaque branche. De plus, nous introduisons une stratégie de masque-drop qui permet à chaque signal de contrôle de manipuler indépendamment sa région faciale correspondante dans la structure mamba, évitant ainsi les conflits de contrôle. Les résultats expérimentaux démontrent que notre méthode produit des vidéos faciales naturelles pilotées par divers signaux et que la couche mamba intègre de manière fluide plusieurs modalités de contrôle sans conflit.

English

Talking head synthesis is vital for virtual avatars and human-computer interaction. However, most existing methods are typically limited to accepting control from a single primary modality, restricting their practical utility. To this end, we introduce ACTalker, an end-to-end video diffusion framework that supports both multi-signals control and single-signal control for talking head video generation. For multiple control, we design a parallel mamba structure with multiple branches, each utilizing a separate driving signal to control specific facial regions. A gate mechanism is applied across all branches, providing flexible control over video generation. To ensure natural coordination of the controlled video both temporally and spatially, we employ the mamba structure, which enables driving signals to manipulate feature tokens across both dimensions in each branch. Additionally, we introduce a mask-drop strategy that allows each driving signal to independently control its corresponding facial region within the mamba structure, preventing control conflicts. Experimental results demonstrate that our method produces natural-looking facial videos driven by diverse signals and that the mamba layer seamlessly integrates multiple driving modalities without conflict.