AnyTalker: Escalando a Geração de Vídeos de Múltiplas Pessoas Falando com Refinamento de Interatividade
AnyTalker: Scaling Multi-Person Talking Video Generation with Interactivity Refinement
November 28, 2025
Autores: Zhizhou Zhong, Yicheng Ji, Zhe Kong, Yiying Liu, Jiarui Wang, Jiasun Feng, Lupeng Liu, Xiangyi Wang, Yanjia Li, Yuqing She, Ying Qin, Huan Li, Shuiyang Mao, Wei Liu, Wenhan Luo
cs.AI
Resumo
Recentemente, a geração de vídeos com múltiplas pessoas começou a ganhar destaque. Embora alguns trabalhos preliminares tenham explorado a geração de vídeos de conversação entre múltiplas pessoas dirigida por áudio, eles frequentemente enfrentam desafios devido aos altos custos de coleta de dados diversificados com múltiplas pessoas e à dificuldade de dirigir múltiplas identidades com interatividade coerente. Para enfrentar esses desafios, propomos o AnyTalker, uma estrutura de geração para múltiplas pessoas que apresenta uma arquitetura de processamento de múltiplos fluxos extensível. Especificamente, estendemos o bloco de atenção do Diffusion Transformer com um novo mecanismo de atenção com consciência de identidade que processa iterativamente pares identidade-áudio, permitindo a escalabilidade arbitrária de identidades dirigíveis. Além disso, o treinamento de modelos generativos para múltiplas pessoas exige dados massivos com múltiplas pessoas. Nossa pipeline de treinamento proposta depende exclusivamente de vídeos com uma única pessoa para aprender padrões de fala de múltiplas pessoas e refina a interatividade com apenas alguns clipes reais com múltiplas pessoas. Adicionalmente, contribuímos com uma métrica e um conjunto de dados específicos projetados para avaliar a naturalidade e a interatividade dos vídeos gerados com múltiplas pessoas. Experimentos extensivos demonstram que o AnyTalker alcança uma sincronização labial notável, qualidade visual e interatividade natural, estabelecendo um equilíbrio favorável entre os custos de dados e a escalabilidade de identidades.
English
Recently, multi-person video generation has started to gain prominence. While a few preliminary works have explored audio-driven multi-person talking video generation, they often face challenges due to the high costs of diverse multi-person data collection and the difficulty of driving multiple identities with coherent interactivity. To address these challenges, we propose AnyTalker, a multi-person generation framework that features an extensible multi-stream processing architecture. Specifically, we extend Diffusion Transformer's attention block with a novel identity-aware attention mechanism that iteratively processes identity-audio pairs, allowing arbitrary scaling of drivable identities. Besides, training multi-person generative models demands massive multi-person data. Our proposed training pipeline depends solely on single-person videos to learn multi-person speaking patterns and refines interactivity with only a few real multi-person clips. Furthermore, we contribute a targeted metric and dataset designed to evaluate the naturalness and interactivity of the generated multi-person videos. Extensive experiments demonstrate that AnyTalker achieves remarkable lip synchronization, visual quality, and natural interactivity, striking a favorable balance between data costs and identity scalability.