Avatar Forcing : Génération interactive en temps réel d'avatars de tête pour des conversations naturelles
Avatar Forcing: Real-Time Interactive Head Avatar Generation for Natural Conversation
January 2, 2026
papers.authors: Taekyung Ki, Sangwon Jang, Jaehyeong Jo, Jaehong Yoon, Sung Ju Hwang
cs.AI
papers.abstract
La génération de têtes parlantes crée des avatars réalistes à partir de portraits statiques pour la communication virtuelle et la création de contenu. Cependant, les modèles actuels ne transmettent pas encore la sensation d'une communication véritablement interactive, générant souvent des réponses unidirectionnelles qui manquent d'engagement émotionnel. Nous identifions deux défis majeurs pour des avatars réellement interactifs : générer des mouvements en temps réel sous contraintes causales et apprendre des réactions expressives et dynamiques sans données étiquetées supplémentaires. Pour relever ces défis, nous proposons Avatar Forcing, un nouveau cadre pour la génération interactive d'avatars qui modélise les interactions utilisateur-avatar en temps réel par le forçage de diffusion. Cette conception permet à l'avatar de traiter des entrées multimodales en temps réel, incluant l'audio et les mouvements de l'utilisateur, avec une faible latence pour des réactions instantanées aux signes verbaux et non verbaux tels que la parole, les hochements de tête et les rires. De plus, nous introduisons une méthode d'optimisation de préférence directe qui exploite des échantillons perdants synthétiques construits en supprimant les conditions utilisateur, permettant un apprentissage expressif de l'interaction sans étiquetage. Les résultats expérimentaux démontrent que notre cadre permet une interaction en temps réel avec une faible latence (environ 500 ms), réalisant une accélération de 6,8 fois par rapport à la baseline, et produit des mouvements d'avatar réactifs et expressifs, préférés à plus de 80 % par rapport à la baseline.
English
Talking head generation creates lifelike avatars from static portraits for virtual communication and content creation. However, current models do not yet convey the feeling of truly interactive communication, often generating one-way responses that lack emotional engagement. We identify two key challenges toward truly interactive avatars: generating motion in real-time under causal constraints and learning expressive, vibrant reactions without additional labeled data. To address these challenges, we propose Avatar Forcing, a new framework for interactive head avatar generation that models real-time user-avatar interactions through diffusion forcing. This design allows the avatar to process real-time multimodal inputs, including the user's audio and motion, with low latency for instant reactions to both verbal and non-verbal cues such as speech, nods, and laughter. Furthermore, we introduce a direct preference optimization method that leverages synthetic losing samples constructed by dropping user conditions, enabling label-free learning of expressive interaction. Experimental results demonstrate that our framework enables real-time interaction with low latency (approximately 500ms), achieving 6.8X speedup compared to the baseline, and produces reactive and expressive avatar motion, which is preferred over 80% against the baseline.