AnyTalker: Масштабируемое создание видео с говорящими людьми с интерактивным уточнением
AnyTalker: Scaling Multi-Person Talking Video Generation with Interactivity Refinement
November 28, 2025
Авторы: Zhizhou Zhong, Yicheng Ji, Zhe Kong, Yiying Liu, Jiarui Wang, Jiasun Feng, Lupeng Liu, Xiangyi Wang, Yanjia Li, Yuqing She, Ying Qin, Huan Li, Shuiyang Mao, Wei Liu, Wenhan Luo
cs.AI
Аннотация
В последнее время все большее значение приобретает генерация многопользовательских видео. Хотя некоторые предварительные работы исследовали создание аудиоуправляемых разговорных видео с участием нескольких человек, они часто сталкиваются с проблемами из-за высокой стоимости сбора разнообразных многопользовательских данных и сложности согласованного управления несколькими идентичностями. Для решения этих задач мы предлагаем AnyTalker — многопользовательскую генеративную систему с расширяемой архитектурой многопоточной обработки. В частности, мы расширяем блок внимания Diffusion Transformer с помощью нового механизма attention, учитывающего идентичность, который итеративно обрабатывает пары «идентичность-аудио», позволяя произвольно масштабировать количество управляемых идентичностей. Кроме того, обучение многопользовательских генеративных моделей требует огромных объемов многопользовательских данных. Наш предлагаемый конвейер обучения использует исключительно однопользовательские видео для изучения моделей речи нескольких человек и улучшает интерактивность с помощью всего нескольких реальных многопользовательских клипов. Кроме того, мы представляем специализированную метрику и набор данных, предназначенные для оценки естественности и интерактивности генерируемых многопользовательских видео. Многочисленные эксперименты демонстрируют, что AnyTalker достигает впечатляющей синхронизации губ, визуального качества и естественной интерактивности, обеспечивая благоприятный баланс между стоимостью данных и масштабируемостью идентичностей.
English
Recently, multi-person video generation has started to gain prominence. While a few preliminary works have explored audio-driven multi-person talking video generation, they often face challenges due to the high costs of diverse multi-person data collection and the difficulty of driving multiple identities with coherent interactivity. To address these challenges, we propose AnyTalker, a multi-person generation framework that features an extensible multi-stream processing architecture. Specifically, we extend Diffusion Transformer's attention block with a novel identity-aware attention mechanism that iteratively processes identity-audio pairs, allowing arbitrary scaling of drivable identities. Besides, training multi-person generative models demands massive multi-person data. Our proposed training pipeline depends solely on single-person videos to learn multi-person speaking patterns and refines interactivity with only a few real multi-person clips. Furthermore, we contribute a targeted metric and dataset designed to evaluate the naturalness and interactivity of the generated multi-person videos. Extensive experiments demonstrate that AnyTalker achieves remarkable lip synchronization, visual quality, and natural interactivity, striking a favorable balance between data costs and identity scalability.