Аудиовизуально управляемая диффузия видео с моделированием маскированных избирательных пространств состояний для генерации естественных говорящих голов

Audio-visual Controlled Video Diffusion with Masked Selective State Spaces Modeling for Natural Talking Head Generation

April 3, 2025

Авторы: Fa-Ting Hong, Zunnan Xu, Zixiang Zhou, Jun Zhou, Xiu Li, Qin Lin, Qinglin Lu, Dan Xu

cs.AI

Аннотация

Синтез говорящих голов имеет важное значение для виртуальных аватаров и взаимодействия человека с компьютером. Однако большинство существующих методов обычно ограничиваются управлением с помощью одного основного модальности, что снижает их практическую полезность. В связи с этим мы представляем ACTalker — сквозную видео-диффузионную структуру, которая поддерживает как управление с помощью множества сигналов, так и управление с помощью одного сигнала для генерации видео говорящих голов. Для множественного управления мы разработали параллельную структуру mamba с несколькими ветвями, каждая из которых использует отдельный управляющий сигнал для контроля определенных областей лица. Механизм гейта применяется ко всем ветвям, обеспечивая гибкое управление генерацией видео. Чтобы обеспечить естественную координацию управляемого видео как во временном, так и в пространственном измерениях, мы используем структуру mamba, которая позволяет управляющим сигналам манипулировать токенами признаков в обоих измерениях в каждой ветви. Кроме того, мы вводим стратегию mask-drop, которая позволяет каждому управляющему сигналу независимо контролировать соответствующую область лица в структуре mamba, предотвращая конфликты управления. Результаты экспериментов показывают, что наш метод создает естественно выглядящие видео лиц, управляемые разнообразными сигналами, а слой mamba бесшовно интегрирует несколько управляющих модальностей без конфликтов.

English

Talking head synthesis is vital for virtual avatars and human-computer interaction. However, most existing methods are typically limited to accepting control from a single primary modality, restricting their practical utility. To this end, we introduce ACTalker, an end-to-end video diffusion framework that supports both multi-signals control and single-signal control for talking head video generation. For multiple control, we design a parallel mamba structure with multiple branches, each utilizing a separate driving signal to control specific facial regions. A gate mechanism is applied across all branches, providing flexible control over video generation. To ensure natural coordination of the controlled video both temporally and spatially, we employ the mamba structure, which enables driving signals to manipulate feature tokens across both dimensions in each branch. Additionally, we introduce a mask-drop strategy that allows each driving signal to independently control its corresponding facial region within the mamba structure, preventing control conflicts. Experimental results demonstrate that our method produces natural-looking facial videos driven by diverse signals and that the mamba layer seamlessly integrates multiple driving modalities without conflict.