Avatar Forcing: Real-time Interactieve Hoofd-Avatar Generatie voor Natuurlijke Gesprekken

Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation

January 2, 2026

Auteurs: Taekyung Ki, Sangwon Jang, Jaehyeong Jo, Jaehong Yoon, Sung Ju Hwang

cs.AI

Samenvatting

Talking head-generatie creëert levensechte avatars vanuit statische portretten voor virtuele communicatie en contentcreatie. Huidige modellen slagen er echter nog niet in het gevoel van echt interactieve communicatie over te brengen, waarbij vaak eenrichtingsreacties worden gegenereerd die emotionele betrokkenheid missen. Wij identificeren twee belangrijke uitdagingen voor werkelijk interactieve avatars: het genereren van beweging in realtime onder causale beperkingen, en het aanleren van expressieve, levendige reacties zonder aanvullende gelabelde data. Om deze uitdagingen aan te pakken, stellen wij Avatar Forcing voor, een nieuw raamwerk voor interactieve hoofdavatar-generatie dat realtime gebruikers-avatar-interacties modelleert via diffusion forcing. Dit ontwerp stelt de avatar in staat om realtime multimodale invoer, waaronder audio en beweging van de gebruiker, met lage latentie te verwerken voor directe reacties op zowel verbale als non-verbale signalen zoals spraak, knikken en gelach. Verder introduceren wij een directe preference optimization-methode die gebruikmaakt van synthetische verliezende samples, geconstrueerd door gebruikerscondities weg te laten, waardoor labelvrij leren van expressieve interactie mogelijk wordt. Experimentele resultaten tonen aan dat ons raamwerk realtime interactie met lage latentie (ongeveer 500ms) mogelijk maakt, een 6,8x snellere verwerking bereikt vergeleken met de baseline, en reactieve en expressieve avatar-beweging produceert, die in meer dan 80% van de gevallen de voorkeur geniet boven de baseline.

English

Talking head generation creates lifelike avatars from static portraits for virtual communication and content creation. However, current models do not yet convey the feeling of truly interactive communication, often generating one-way responses that lack emotional engagement. We identify two key challenges toward truly interactive avatars: generating motion in real-time under causal constraints and learning expressive, vibrant reactions without additional labeled data. To address these challenges, we propose Avatar Forcing, a new framework for interactive head avatar generation that models real-time user-avatar interactions through diffusion forcing. This design allows the avatar to process real-time multimodal inputs, including the user's audio and motion, with low latency for instant reactions to both verbal and non-verbal cues such as speech, nods, and laughter. Furthermore, we introduce a direct preference optimization method that leverages synthetic losing samples constructed by dropping user conditions, enabling label-free learning of expressive interaction. Experimental results demonstrate that our framework enables real-time interaction with low latency (approximately 500ms), achieving 6.8X speedup compared to the baseline, and produces reactive and expressive avatar motion, which is preferred over 80% against the baseline.