Difusão de Vídeo Controlada por Áudio-Visual com Modelagem de Espaços de Estado Seletivos Mascarados para Geração Natural de Cabeças Falantes

Audio-visual Controlled Video Diffusion with Masked Selective State Spaces Modeling for Natural Talking Head Generation

April 3, 2025

Autores: Fa-Ting Hong, Zunnan Xu, Zixiang Zhou, Jun Zhou, Xiu Li, Qin Lin, Qinglin Lu, Dan Xu

cs.AI

Resumo

A síntese de cabeças falantes é crucial para avatares virtuais e interação humano-computador. No entanto, a maioria dos métodos existentes é tipicamente limitada a aceitar controle de uma única modalidade primária, restringindo sua utilidade prática. Para isso, introduzimos o ACTalker, uma estrutura de difusão de vídeo end-to-end que suporta tanto o controle multi-sinais quanto o controle de sinal único para a geração de vídeos de cabeças falantes. Para o controle múltiplo, projetamos uma estrutura mamba paralela com múltiplos ramos, cada um utilizando um sinal de controle separado para manipular regiões faciais específicas. Um mecanismo de porta é aplicado em todos os ramos, proporcionando controle flexível sobre a geração de vídeo. Para garantir a coordenação natural do vídeo controlado tanto temporal quanto espacialmente, empregamos a estrutura mamba, que permite que os sinais de controle manipulem tokens de características em ambas as dimensões em cada ramo. Além disso, introduzimos uma estratégia de mask-drop que permite que cada sinal de controle controle independentemente sua região facial correspondente dentro da estrutura mamba, evitando conflitos de controle. Resultados experimentais demonstram que nosso método produz vídeos faciais de aparência natural impulsionados por diversos sinais e que a camada mamba integra perfeitamente múltiplas modalidades de controle sem conflitos.

English

Talking head synthesis is vital for virtual avatars and human-computer interaction. However, most existing methods are typically limited to accepting control from a single primary modality, restricting their practical utility. To this end, we introduce ACTalker, an end-to-end video diffusion framework that supports both multi-signals control and single-signal control for talking head video generation. For multiple control, we design a parallel mamba structure with multiple branches, each utilizing a separate driving signal to control specific facial regions. A gate mechanism is applied across all branches, providing flexible control over video generation. To ensure natural coordination of the controlled video both temporally and spatially, we employ the mamba structure, which enables driving signals to manipulate feature tokens across both dimensions in each branch. Additionally, we introduce a mask-drop strategy that allows each driving signal to independently control its corresponding facial region within the mamba structure, preventing control conflicts. Experimental results demonstrate that our method produces natural-looking facial videos driven by diverse signals and that the mamba layer seamlessly integrates multiple driving modalities without conflict.