AnyTalker: Scalabilità nella Generazione di Video Parlanti Multi-Persona con Affinamento Interattivo
AnyTalker: Scaling Multi-Person Talking Video Generation with Interactivity Refinement
November 28, 2025
Autori: Zhizhou Zhong, Yicheng Ji, Zhe Kong, Yiying Liu, Jiarui Wang, Jiasun Feng, Lupeng Liu, Xiangyi Wang, Yanjia Li, Yuqing She, Ying Qin, Huan Li, Shuiyang Mao, Wei Liu, Wenhan Luo
cs.AI
Abstract
Recentemente, la generazione di video multipersona ha iniziato a guadagnare rilevanza. Sebbene alcuni lavori preliminari abbiano esplorato la generazione di video parlanti multipersona guidati dall'audio, essi incontrano spesso difficoltà a causa degli elevati costi per la raccolta di dati multipersona diversificati e della difficoltà nel guidare più identità con un'interattività coerente. Per affrontare queste sfide, proponiamo AnyTalker, un framework di generazione multipersona che presenta un'architettura di elaborazione multi-stream estensibile. Nello specifico, estendiamo il blocco di attenzione del Diffusion Transformer con un innovativo meccanismo di attenzione identity-aware che elabora iterativamente coppie identità-audio, consentendo una scalabilità arbitraria delle identità guidabili. Inoltre, l'addestramento di modelli generativi multipersona richiede enormi quantità di dati multipersona. La nostra pipeline di addestramento proposta si basa esclusivamente su video di singole persone per apprendere modelli di parlato multipersona e affina l'interattività utilizzando solo pochi clip reali multipersona. Inoltre, contribuiamo con una metrica e un dataset specifici progettati per valutare la naturalezza e l'interattività dei video multipersona generati. Esperimenti estensivi dimostrano che AnyTalker raggiunge una notevole sincronizzazione labiale, qualità visiva e interattività naturale, trovando un favorevole equilibrio tra costi dei dati e scalabilità delle identità.
English
Recently, multi-person video generation has started to gain prominence. While a few preliminary works have explored audio-driven multi-person talking video generation, they often face challenges due to the high costs of diverse multi-person data collection and the difficulty of driving multiple identities with coherent interactivity. To address these challenges, we propose AnyTalker, a multi-person generation framework that features an extensible multi-stream processing architecture. Specifically, we extend Diffusion Transformer's attention block with a novel identity-aware attention mechanism that iteratively processes identity-audio pairs, allowing arbitrary scaling of drivable identities. Besides, training multi-person generative models demands massive multi-person data. Our proposed training pipeline depends solely on single-person videos to learn multi-person speaking patterns and refines interactivity with only a few real multi-person clips. Furthermore, we contribute a targeted metric and dataset designed to evaluate the naturalness and interactivity of the generated multi-person videos. Extensive experiments demonstrate that AnyTalker achieves remarkable lip synchronization, visual quality, and natural interactivity, striking a favorable balance between data costs and identity scalability.