Audio-visueel Gecontroleerde Video-diffusie met Gemaskeerde Selectieve Toestandsruimte-modellering voor Natuurlijke Talking Head-generatie

Audio-visual Controlled Video Diffusion with Masked Selective State Spaces Modeling for Natural Talking Head Generation

April 3, 2025

Auteurs: Fa-Ting Hong, Zunnan Xu, Zixiang Zhou, Jun Zhou, Xiu Li, Qin Lin, Qinglin Lu, Dan Xu

cs.AI

Samenvatting

Het synthetiseren van pratende hoofden is essentieel voor virtuele avatars en mens-computerinteractie. De meeste bestaande methoden zijn echter doorgaans beperkt tot het accepteren van controle vanuit één primaire modaliteit, wat hun praktische bruikbaarheid beperkt. Daarom introduceren we ACTalker, een end-to-end videodiffusiekader dat zowel multi-signaalcontrole als enkelvoudige signaalcontrole ondersteunt voor het genereren van pratende hoofdvideo's. Voor meervoudige controle hebben we een parallelle mamba-structuur ontworpen met meerdere takken, waarbij elke tak een apart stuursignaal gebruikt om specifieke gezichtsregio's te besturen. Een poortmechanisme wordt toegepast over alle takken, wat flexibele controle biedt over de videogeneratie. Om een natuurlijke coördinatie van de gecontroleerde video zowel temporeel als ruimtelijk te waarborgen, gebruiken we de mamba-structuur, waardoor stuursignalen feature-tokens in beide dimensies in elke tak kunnen manipuleren. Daarnaast introduceren we een masker-dropstrategie die ervoor zorgt dat elk stuursignaal onafhankelijk zijn corresponderende gezichtsregio binnen de mamba-structuur kan besturen, waardoor controleconflicten worden voorkomen. Experimentele resultaten tonen aan dat onze methode natuurlijk ogende gezichtsvideo's produceert die worden aangestuurd door diverse signalen en dat de mambalaag naadloos meerdere stuurmodaliteiten integreert zonder conflicten.

English

Talking head synthesis is vital for virtual avatars and human-computer interaction. However, most existing methods are typically limited to accepting control from a single primary modality, restricting their practical utility. To this end, we introduce ACTalker, an end-to-end video diffusion framework that supports both multi-signals control and single-signal control for talking head video generation. For multiple control, we design a parallel mamba structure with multiple branches, each utilizing a separate driving signal to control specific facial regions. A gate mechanism is applied across all branches, providing flexible control over video generation. To ensure natural coordination of the controlled video both temporally and spatially, we employ the mamba structure, which enables driving signals to manipulate feature tokens across both dimensions in each branch. Additionally, we introduce a mask-drop strategy that allows each driving signal to independently control its corresponding facial region within the mamba structure, preventing control conflicts. Experimental results demonstrate that our method produces natural-looking facial videos driven by diverse signals and that the mamba layer seamlessly integrates multiple driving modalities without conflict.