MIDAS: Мультимодальный интерактивный синтез цифрового человека с использованием авторегрессионного генератора видео в реальном времени

MIDAS: Multimodal Interactive Digital-human Synthesis via Real-time Autoregressive Video Generation

August 26, 2025

Авторы: Ming Chen, Liyuan Cui, Wenyuan Zhang, Haoxian Zhang, Yan Zhou, Xiaohan Li, Xiaoqiang Liu, Pengfei Wan

cs.AI

Аннотация

В последнее время генерация интерактивных видео с цифровыми людьми привлекает широкое внимание и демонстрирует значительный прогресс. Однако создание практической системы, способной взаимодействовать с разнообразными входными сигналами в реальном времени, остается сложной задачей для существующих методов, которые часто сталкиваются с высокой задержкой, значительными вычислительными затратами и ограниченной управляемостью. В данной работе мы представляем авторегрессивную структуру генерации видео, которая обеспечивает интерактивное мультимодальное управление и низкозадержную экстраполяцию в потоковом режиме. С минимальными изменениями стандартной модели большого языка (LLM) наша структура принимает мультимодальные кодировки условий, включая аудио, позы и текст, и выводит пространственно и семантически согласованные представления для управления процессом удаления шума в диффузионной головке. Для поддержки этого мы создали крупномасштабный набор данных диалогов объемом около 20 000 часов из различных источников, предоставляющий богатые сценарии для обучения. Мы также представляем глубокий компрессионный автокодировщик с коэффициентом сжатия до 64 раз, что эффективно снижает нагрузку на долгосрочный вывод авторегрессивной модели. Многочисленные эксперименты в области дуплексных диалогов, многоязычного синтеза человека и интерактивной модели мира подчеркивают преимущества нашего подхода в низкой задержке, высокой эффективности и детализированной мультимодальной управляемости.

English

Recently, interactive digital human video generation has attracted widespread attention and achieved remarkable progress. However, building such a practical system that can interact with diverse input signals in real time remains challenging to existing methods, which often struggle with high latency, heavy computational cost, and limited controllability. In this work, we introduce an autoregressive video generation framework that enables interactive multimodal control and low-latency extrapolation in a streaming manner. With minimal modifications to a standard large language model (LLM), our framework accepts multimodal condition encodings including audio, pose, and text, and outputs spatially and semantically coherent representations to guide the denoising process of a diffusion head. To support this, we construct a large-scale dialogue dataset of approximately 20,000 hours from multiple sources, providing rich conversational scenarios for training. We further introduce a deep compression autoencoder with up to 64times reduction ratio, which effectively alleviates the long-horizon inference burden of the autoregressive model. Extensive experiments on duplex conversation, multilingual human synthesis, and interactive world model highlight the advantages of our approach in low latency, high efficiency, and fine-grained multimodal controllability.