AnyTalker: Escalando la Generación de Videos de Múltiples Personas Hablando con Refinamiento Interactivo
AnyTalker: Scaling Multi-Person Talking Video Generation with Interactivity Refinement
November 28, 2025
Autores: Zhizhou Zhong, Yicheng Ji, Zhe Kong, Yiying Liu, Jiarui Wang, Jiasun Feng, Lupeng Liu, Xiangyi Wang, Yanjia Li, Yuqing She, Ying Qin, Huan Li, Shuiyang Mao, Wei Liu, Wenhan Luo
cs.AI
Resumen
Recientemente, la generación de vídeos multipersona ha comenzado a ganar prominencia. Si bien algunos trabajos preliminares han explorado la generación de vídeos parlantes multipersona impulsados por audio, a menudo se enfrentan a desafíos debido a los altos costos de la recopilación de datos multipersona diversos y la dificultad de dirigir múltiples identidades con interactividad coherente. Para abordar estos desafíos, proponemos AnyTalker, un marco de generación multipersona que presenta una arquitectura de procesamiento de flujos múltiples extensible. Específicamente, extendemos el bloque de atención del Transformer de Difusión con un novedoso mecanismo de atención consciente de la identidad que procesa iterativamente pares identidad-audio, permitiendo escalar arbitrariamente las identidades dirigibles. Además, entrenar modelos generativos multipersona requiere datos masivos multipersona. Nuestra pipeline de entrenamiento propuesta depende únicamente de vídeos de una sola persona para aprender patrones de habla multipersona y refina la interactividad con solo unos pocos clips reales multipersona. Además, contribuimos con una métrica y un conjunto de datos específicos diseñados para evaluar la naturalidad e interactividad de los vídeos multipersona generados. Experimentos exhaustivos demuestran que AnyTalker logra una sincronización labial notable, calidad visual e interactividad natural, logrando un equilibrio favorable entre los costos de datos y la escalabilidad de identidades.
English
Recently, multi-person video generation has started to gain prominence. While a few preliminary works have explored audio-driven multi-person talking video generation, they often face challenges due to the high costs of diverse multi-person data collection and the difficulty of driving multiple identities with coherent interactivity. To address these challenges, we propose AnyTalker, a multi-person generation framework that features an extensible multi-stream processing architecture. Specifically, we extend Diffusion Transformer's attention block with a novel identity-aware attention mechanism that iteratively processes identity-audio pairs, allowing arbitrary scaling of drivable identities. Besides, training multi-person generative models demands massive multi-person data. Our proposed training pipeline depends solely on single-person videos to learn multi-person speaking patterns and refines interactivity with only a few real multi-person clips. Furthermore, we contribute a targeted metric and dataset designed to evaluate the naturalness and interactivity of the generated multi-person videos. Extensive experiments demonstrate that AnyTalker achieves remarkable lip synchronization, visual quality, and natural interactivity, striking a favorable balance between data costs and identity scalability.