Avatar-Forcing: Echtzeit-Interaktive Kopf-Avatar-Generierung für Natürliche Gespräche

Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation

January 2, 2026

papers.authors: Taekyung Ki, Sangwon Jang, Jaehyeong Jo, Jaehong Yoon, Sung Ju Hwang

cs.AI

papers.abstract

Die Erzeugung von Talking Heads erzeugt lebensechte Avatare aus statischen Porträts für virtuelle Kommunikation und Inhaltserstellung. Allerdings vermitteln aktuelle Modelle noch nicht das Gefühl wirklich interaktiver Kommunikation, da sie oft einseitige Reaktionen generieren, denen emotionale Beteiligung fehlt. Wir identifizieren zwei Hauptherausforderungen für wirklich interaktive Avatare: die Echtzeiterzeugung von Bewegungen unter Kausalitätsbedingungen und das Erlernen ausdrucksstarker, lebendiger Reaktionen ohne zusätzlich annotierte Daten. Um diese Herausforderungen zu bewältigen, schlagen wir Avatar Forcing vor, ein neues Framework für die interaktive Avatarerzeugung, das Echtzeit-Interaktionen zwischen Nutzer und Avatar durch Diffusion Forcing modelliert. Dieser Entwurf ermöglicht es dem Avatar, Echtzeit-Multimodaleingaben – including Nutzeraudio und -bewegungen – mit geringer Latenz zu verarbeiten, um sofort auf verbale und non-verbale Signale wie Sprache, Nicken und Lachen zu reagieren. Darüber hinaus führen wir eine Direct Preference Optimization-Methode ein, die synthetische Verlustbeispiele nutzt, die durch das Weglassen von Nutzerbedingungen erzeugt werden, und so annotierungsfreies Lernen ausdrucksstarker Interaktion ermöglicht. Experimentelle Ergebnisse zeigen, dass unser Framework Echtzeitinteraktion mit geringer Latenz (ca. 500 ms) ermöglicht, was einer 6,8-fachen Beschleunigung gegenüber dem Baseline-Modell entspricht, und reaktive, ausdrucksstarke Avatar-Bewegungen erzeugt, die in über 80 % der Fälle gegenüber der Baseline bevorzugt werden.

English

Talking head generation creates lifelike avatars from static portraits for virtual communication and content creation. However, current models do not yet convey the feeling of truly interactive communication, often generating one-way responses that lack emotional engagement. We identify two key challenges toward truly interactive avatars: generating motion in real-time under causal constraints and learning expressive, vibrant reactions without additional labeled data. To address these challenges, we propose Avatar Forcing, a new framework for interactive head avatar generation that models real-time user-avatar interactions through diffusion forcing. This design allows the avatar to process real-time multimodal inputs, including the user's audio and motion, with low latency for instant reactions to both verbal and non-verbal cues such as speech, nods, and laughter. Furthermore, we introduce a direct preference optimization method that leverages synthetic losing samples constructed by dropping user conditions, enabling label-free learning of expressive interaction. Experimental results demonstrate that our framework enables real-time interaction with low latency (approximately 500ms), achieving 6.8X speedup compared to the baseline, and produces reactive and expressive avatar motion, which is preferred over 80% against the baseline.