AnyTalker: Schaalvergroting van Videogeneratie voor Sprekende Personen met Interactieve Verfijning
AnyTalker: Scaling Multi-Person Talking Video Generation with Interactivity Refinement
November 28, 2025
Auteurs: Zhizhou Zhong, Yicheng Ji, Zhe Kong, Yiying Liu, Jiarui Wang, Jiasun Feng, Lupeng Liu, Xiangyi Wang, Yanjia Li, Yuqing She, Ying Qin, Huan Li, Shuiyang Mao, Wei Liu, Wenhan Luo
cs.AI
Samenvatting
Recentelijk begint multi-persoons videogeneratie aan bekendheid te winnen. Hoewel enkele voorlopige werken audio-gestuurde multi-persoons sprekende videogeneratie hebben onderzocht, kampen deze vaak met uitdagingen door de hoge kosten van diverse multi-persoons dataverzameling en de moeilijkheid om meerdere identiteiten met coherente interactiviteit aan te sturen. Om deze uitdagingen aan te pakken, stellen wij AnyTalker voor, een multi-persoons generatieraamwerk met een uitbreidbare multi-stroom verwerkingsarchitectuur. Concreet breiden we de aandachtblokken van Diffusion Transformer uit met een nieuwe identiteitsbewuste aandachtmechanisme dat iteratief identiteit-audioparen verwerkt, waardoor willekeurige schaling van aanstuurbare identiteiten mogelijk wordt. Daarnaast vereist de training van multi-persoons generatieve modellen enorme hoeveelheden multi-persoons data. Onze voorgestelde trainingspijplijn gebruikt uitsluitend single-persoons video's om multi-persoons spraakpatronen te leren en verfijnt de interactiviteit met slechts enkele echte multi-persoons fragmenten. Verder dragen wij een gerichte maatstaf en dataset bij, ontworpen om de natuurlijkheid en interactiviteit van de gegenereerde multi-persoons video's te evalueren. Uitgebreide experimenten tonen aan dat AnyTalker opmerkelijke lip-synchronisatie, visuele kwaliteit en natuurlijke interactiviteit bereikt, waarbij een gunstige balans wordt gevonden tussen datakosten en identiteitsschaalbaarheid.
English
Recently, multi-person video generation has started to gain prominence. While a few preliminary works have explored audio-driven multi-person talking video generation, they often face challenges due to the high costs of diverse multi-person data collection and the difficulty of driving multiple identities with coherent interactivity. To address these challenges, we propose AnyTalker, a multi-person generation framework that features an extensible multi-stream processing architecture. Specifically, we extend Diffusion Transformer's attention block with a novel identity-aware attention mechanism that iteratively processes identity-audio pairs, allowing arbitrary scaling of drivable identities. Besides, training multi-person generative models demands massive multi-person data. Our proposed training pipeline depends solely on single-person videos to learn multi-person speaking patterns and refines interactivity with only a few real multi-person clips. Furthermore, we contribute a targeted metric and dataset designed to evaluate the naturalness and interactivity of the generated multi-person videos. Extensive experiments demonstrate that AnyTalker achieves remarkable lip synchronization, visual quality, and natural interactivity, striking a favorable balance between data costs and identity scalability.