Forzado de Avatar: Generación de Avatares de Cabeza Interactivos en Tiempo Real para Conversaciones Naturales

Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation

January 2, 2026

Autores: Taekyung Ki, Sangwon Jang, Jaehyeong Jo, Jaehong Yoon, Sung Ju Hwang

cs.AI

Resumen

La generación de cabezas parlantes crea avatares realistas a partir de retratos estáticos para la comunicación virtual y la creación de contenido. Sin embargo, los modelos actuales aún no logran transmitir la sensación de una comunicación verdaderamente interactiva, generando a menudo respuestas unidireccionales que carecen de compromiso emocional. Identificamos dos desafíos clave hacia la creación de avatares verdaderamente interactivos: generar movimiento en tiempo real bajo restricciones causales y aprender reacciones expresivas y vibrantes sin necesidad de datos etiquetados adicionales. Para abordar estos desafíos, proponemos Avatar Forcing, un nuevo marco para la generación interactiva de avatares que modela las interacciones usuario-avatar en tiempo real mediante difusión forzada. Este diseño permite al avatar procesar entradas multimodales en tiempo real, incluyendo el audio y el movimiento del usuario, con baja latencia para reaccionar instantáneamente tanto a señales verbales como no verbales, como el habla, asentimientos y risas. Además, introducimos un método de optimización de preferencias directas que aprovecha muestras sintéticas de pérdida construidas eliminando condiciones del usuario, permitiendo un aprendizaje expresivo de la interacción sin etiquetas. Los resultados experimentales demuestran que nuestro marco permite la interacción en tiempo real con baja latencia (aproximadamente 500 ms), logrando una aceleración 6.8 veces mayor en comparación con el baseline, y produce un movimiento del avatar reactivo y expresivo, que es preferido en más del 80% de los casos frente al baseline.

English

Talking head generation creates lifelike avatars from static portraits for virtual communication and content creation. However, current models do not yet convey the feeling of truly interactive communication, often generating one-way responses that lack emotional engagement. We identify two key challenges toward truly interactive avatars: generating motion in real-time under causal constraints and learning expressive, vibrant reactions without additional labeled data. To address these challenges, we propose Avatar Forcing, a new framework for interactive head avatar generation that models real-time user-avatar interactions through diffusion forcing. This design allows the avatar to process real-time multimodal inputs, including the user's audio and motion, with low latency for instant reactions to both verbal and non-verbal cues such as speech, nods, and laughter. Furthermore, we introduce a direct preference optimization method that leverages synthetic losing samples constructed by dropping user conditions, enabling label-free learning of expressive interaction. Experimental results demonstrate that our framework enables real-time interaction with low latency (approximately 500ms), achieving 6.8X speedup compared to the baseline, and produces reactive and expressive avatar motion, which is preferred over 80% against the baseline.