MIDAS: Multimodale Interactieve Digitale Mens Synthese via Real-time Autoregressieve Videogeneratie

MIDAS: Multimodal Interactive Digital-human Synthesis via Real-time Autoregressive Video Generation

August 26, 2025

Auteurs: Ming Chen, Liyuan Cui, Wenyuan Zhang, Haoxian Zhang, Yan Zhou, Xiaohan Li, Xiaoqiang Liu, Pengfei Wan

cs.AI

Samenvatting

Onlangs heeft de generatie van interactieve digitale menselijke video's brede aandacht getrokken en opmerkelijke vooruitgang geboekt. Het bouwen van een praktisch systeem dat in realtime kan interageren met diverse invoersignalen blijft echter een uitdaging voor bestaande methoden, die vaak worstelen met hoge latentie, zware rekenkosten en beperkte bestuurbaarheid. In dit werk introduceren we een autoregressief videogeneratiekader dat interactieve multimodale controle en lage-latentie-extrapolatie mogelijk maakt in een streaming-manier. Met minimale aanpassingen aan een standaard groot taalmodel (LLM) accepteert ons kader multimodale conditiecoderingen, waaronder audio, pose en tekst, en produceert het ruimtelijk en semantisch coherente representaties om het denoisingsproces van een diffusiekop te begeleiden. Om dit te ondersteunen, hebben we een grootschalige dialoogdataset van ongeveer 20.000 uur uit meerdere bronnen samengesteld, die rijke gespreksscenario's biedt voor training. We introduceren verder een diepe compressie-autoencoder met een reductieverhouding van maximaal 64 keer, die effectief de langetermijninferentielast van het autoregressieve model verlicht. Uitgebreide experimenten op het gebied van duplexgesprekken, meertalige menselijke synthese en een interactief wereldmodel benadrukken de voordelen van onze aanpak in lage latentie, hoge efficiëntie en fijnmazige multimodale bestuurbaarheid.

English

Recently, interactive digital human video generation has attracted widespread attention and achieved remarkable progress. However, building such a practical system that can interact with diverse input signals in real time remains challenging to existing methods, which often struggle with high latency, heavy computational cost, and limited controllability. In this work, we introduce an autoregressive video generation framework that enables interactive multimodal control and low-latency extrapolation in a streaming manner. With minimal modifications to a standard large language model (LLM), our framework accepts multimodal condition encodings including audio, pose, and text, and outputs spatially and semantically coherent representations to guide the denoising process of a diffusion head. To support this, we construct a large-scale dialogue dataset of approximately 20,000 hours from multiple sources, providing rich conversational scenarios for training. We further introduce a deep compression autoencoder with up to 64times reduction ratio, which effectively alleviates the long-horizon inference burden of the autoregressive model. Extensive experiments on duplex conversation, multilingual human synthesis, and interactive world model highlight the advantages of our approach in low latency, high efficiency, and fine-grained multimodal controllability.