MIDAS: Multimodale interaktive Synthese digitaler Menschen durch Echtzeit-Autoregressive Videogenerierung

MIDAS: Multimodal Interactive Digital-human Synthesis via Real-time Autoregressive Video Generation

August 26, 2025

papers.authors: Ming Chen, Liyuan Cui, Wenyuan Zhang, Haoxian Zhang, Yan Zhou, Xiaohan Li, Xiaoqiang Liu, Pengfei Wan

cs.AI

papers.abstract

Kürzlich hat die interaktive digitale Videoerzeugung von menschlichen Darstellungen breite Aufmerksamkeit erregt und bemerkenswerte Fortschritte erzielt. Dennoch bleibt der Aufbau eines praktischen Systems, das in Echtzeit mit verschiedenen Eingangssignalen interagieren kann, für bestehende Methoden eine Herausforderung, da diese oft mit hoher Latenz, hohen Rechenkosten und begrenzter Steuerbarkeit zu kämpfen haben. In dieser Arbeit stellen wir ein autoregressives Videoerzeugungsframework vor, das interaktive multimodale Steuerung und niedrige Latenz bei der Extrapolation in einem Streaming-Verfahren ermöglicht. Mit minimalen Modifikationen an einem Standard-Large-Language-Model (LLM) akzeptiert unser Framework multimodale Bedingungskodierungen, einschließlich Audio, Pose und Text, und gibt räumlich und semantisch kohärente Darstellungen aus, um den Denoising-Prozess eines Diffusionskopfes zu steuern. Um dies zu unterstützen, erstellen wir einen groß angelegten Dialogdatensatz von etwa 20.000 Stunden aus mehreren Quellen, der reichhaltige Gesprächsszenarien für das Training bietet. Wir führen weiterhin einen tiefen Kompressions-Autoencoder mit einer Reduktionsrate von bis zu 64-fach ein, der die langfristige Inferenzlast des autoregressiven Modells effektiv verringert. Umfangreiche Experimente zu Duplex-Gesprächen, mehrsprachiger menschlicher Synthese und interaktiven Weltmodellen unterstreichen die Vorteile unseres Ansatzes in Bezug auf niedrige Latenz, hohe Effizienz und fein abgestimmte multimodale Steuerbarkeit.

English

Recently, interactive digital human video generation has attracted widespread attention and achieved remarkable progress. However, building such a practical system that can interact with diverse input signals in real time remains challenging to existing methods, which often struggle with high latency, heavy computational cost, and limited controllability. In this work, we introduce an autoregressive video generation framework that enables interactive multimodal control and low-latency extrapolation in a streaming manner. With minimal modifications to a standard large language model (LLM), our framework accepts multimodal condition encodings including audio, pose, and text, and outputs spatially and semantically coherent representations to guide the denoising process of a diffusion head. To support this, we construct a large-scale dialogue dataset of approximately 20,000 hours from multiple sources, providing rich conversational scenarios for training. We further introduce a deep compression autoencoder with up to 64times reduction ratio, which effectively alleviates the long-horizon inference burden of the autoregressive model. Extensive experiments on duplex conversation, multilingual human synthesis, and interactive world model highlight the advantages of our approach in low latency, high efficiency, and fine-grained multimodal controllability.