Avatar Forcing: Geração de Avatar Facial em Tempo Real para Conversas Naturais
Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation
January 2, 2026
Autores: Taekyung Ki, Sangwon Jang, Jaehyeong Jo, Jaehong Yoon, Sung Ju Hwang
cs.AI
Resumo
A geração de cabeças falantes cria avatares realistas a partir de retratos estáticos para comunicação virtual e criação de conteúdo. No entanto, os modelos atuais ainda não conseguem transmitir a sensação de comunicação verdadeiramente interativa, gerando frequentemente respostas unidirecionais que carecem de envolvimento emocional. Identificamos dois desafios principais para avatares verdadeiramente interativos: gerar movimento em tempo real sob restrições causais e aprender reações expressivas e vibrantes sem dados rotulados adicionais. Para enfrentar esses desafios, propomos o Avatar Forcing, um novo framework para geração interativa de avatares de cabeça que modela interações usuário-avatar em tempo real através de difusão forçada. Este projeto permite que o avatar processe entradas multimodais em tempo real, incluindo áudio e movimento do usuário, com baixa latência para reações instantâneas a pistas verbais e não verbais, como fala, acenos e risadas. Além disso, introduzimos um método de otimização de preferência direta que aproveita amostras de perda sintéticas construídas ao descartar condições do usuário, permitindo o aprendizado de interação expressiva sem rotulação. Resultados experimentais demonstram que nosso framework permite interação em tempo real com baixa latência (aproximadamente 500ms), alcançando uma aceleração 6,8 vezes maior em comparação com a linha de base, e produz movimento de avatar reativo e expressivo, sendo preferido em mais de 80% das vezes contra a linha de base.
English
Talking head generation creates lifelike avatars from static portraits for virtual communication and content creation. However, current models do not yet convey the feeling of truly interactive communication, often generating one-way responses that lack emotional engagement. We identify two key challenges toward truly interactive avatars: generating motion in real-time under causal constraints and learning expressive, vibrant reactions without additional labeled data. To address these challenges, we propose Avatar Forcing, a new framework for interactive head avatar generation that models real-time user-avatar interactions through diffusion forcing. This design allows the avatar to process real-time multimodal inputs, including the user's audio and motion, with low latency for instant reactions to both verbal and non-verbal cues such as speech, nods, and laughter. Furthermore, we introduce a direct preference optimization method that leverages synthetic losing samples constructed by dropping user conditions, enabling label-free learning of expressive interaction. Experimental results demonstrate that our framework enables real-time interaction with low latency (approximately 500ms), achieving 6.8X speedup compared to the baseline, and produces reactive and expressive avatar motion, which is preferred over 80% against the baseline.