MIDAS: Sintesi Multimodale di Umanoidi Digitali Interattivi tramite Generazione Video Autoregressiva in Tempo Reale

MIDAS: Multimodal Interactive Digital-human Synthesis via Real-time Autoregressive Video Generation

August 26, 2025

Autori: Ming Chen, Liyuan Cui, Wenyuan Zhang, Haoxian Zhang, Yan Zhou, Xiaohan Li, Xiaoqiang Liu, Pengfei Wan

cs.AI

Abstract

Recentemente, la generazione di video di umani digitali interattivi ha attirato un'attenzione diffusa e ha ottenuto progressi notevoli. Tuttavia, la creazione di un sistema pratico in grado di interagire con segnali di input diversi in tempo reale rimane una sfida per i metodi esistenti, che spesso lottano con alta latenza, costi computazionali elevati e controllabilità limitata. In questo lavoro, introduciamo un framework di generazione video autoregressivo che consente il controllo multimodale interattivo e l'estrapolazione a bassa latenza in modalità streaming. Con modifiche minime a un modello linguistico di grandi dimensioni (LLM) standard, il nostro framework accetta codifiche di condizioni multimodali, inclusi audio, pose e testo, e produce rappresentazioni spazialmente e semanticamente coerenti per guidare il processo di denoising di una testa di diffusione. Per supportare ciò, abbiamo costruito un ampio dataset di dialogo di circa 20.000 ore proveniente da più fonti, fornendo scenari conversazionali ricchi per l'addestramento. Introduciamo inoltre un autoencoder di compressione profonda con un rapporto di riduzione fino a 64 volte, che allevia efficacemente il carico di inferenza a lungo orizzonte del modello autoregressivo. Esperimenti estesi su conversazioni duplex, sintesi umana multilingue e modello di mondo interattivo evidenziano i vantaggi del nostro approccio in termini di bassa latenza, alta efficienza e controllabilità multimodale fine.

English

Recently, interactive digital human video generation has attracted widespread attention and achieved remarkable progress. However, building such a practical system that can interact with diverse input signals in real time remains challenging to existing methods, which often struggle with high latency, heavy computational cost, and limited controllability. In this work, we introduce an autoregressive video generation framework that enables interactive multimodal control and low-latency extrapolation in a streaming manner. With minimal modifications to a standard large language model (LLM), our framework accepts multimodal condition encodings including audio, pose, and text, and outputs spatially and semantically coherent representations to guide the denoising process of a diffusion head. To support this, we construct a large-scale dialogue dataset of approximately 20,000 hours from multiple sources, providing rich conversational scenarios for training. We further introduce a deep compression autoencoder with up to 64times reduction ratio, which effectively alleviates the long-horizon inference burden of the autoregressive model. Extensive experiments on duplex conversation, multilingual human synthesis, and interactive world model highlight the advantages of our approach in low latency, high efficiency, and fine-grained multimodal controllability.