Avatars tot interactie brengen: op weg naar tekstgestuurde mens-objectinteractie voor bestuurbare sprekende avatars

Making Avatars Interact: Towards Text-Driven Human-Object Interaction for Controllable Talking Avatars

February 2, 2026

Auteurs: Youliang Zhang, Zhengguang Zhou, Zhentao Yu, Ziyao Huang, Teng Hu, Sen Liang, Guozhen Zhang, Ziqiao Peng, Shunkai Li, Yi Chen, Zixiang Zhou, Yuan Zhou, Qinglin Lu, Xiu Li

cs.AI

Samenvatting

Het genereren van sprekende avatars is een fundamentele taak in videogeneratie. Hoewel bestaande methoden volledige sprekende avatars met eenvoudige menselijke beweging kunnen genereren, blijft het uitbreiden van deze taak naar *grounded human-object interaction* (GHOI) een onopgeloste uitdaging. Dit vereist dat de avatar tekstgebaseerde interacties met omringende objecten uitvoert. Deze uitdaging ontstaat door de behoefte aan omgevingsperceptie en het *control-quality dilemma* bij GHOI-generatie. Om dit aan te pakken, stellen we een nieuw dual-stream raamwerk voor, InteractAvatar, dat perceptie en planning ontkoppelt van videosynthese voor *grounded human-object interaction*. Door detectie te benutten om de omgevingsperceptie te verbeteren, introduceren we een *Perception and Interaction Module* (PIM) om tekstgebaseerde interactiebewegingen te genereren. Daarnaast wordt een *Audio-Interaction Aware Generation Module* (AIM) voorgesteld om levendige sprekende avatars te synthetiseren die objectinteracties uitvoeren. Met een speciaal ontworpen *motion-to-video aligner* delen PIM en AIM een vergelijkbare netwerkstructuur en maken ze parallelle co-generatie van bewegingen en geloofwaardige video's mogelijk, waardoor het *control-quality dilemma* effectief wordt verminderd. Tot slot stellen we een benchmark, GroundedInter, op voor het evalueren van GHOI-videogeneratie. Uitgebreide experimenten en vergelijkingen tonen de effectiviteit van onze methode aan bij het genereren van *grounded human-object interactions* voor sprekende avatars. Projectpagina: https://interactavatar.github.io

English

Generating talking avatars is a fundamental task in video generation. Although existing methods can generate full-body talking avatars with simple human motion, extending this task to grounded human-object interaction (GHOI) remains an open challenge, requiring the avatar to perform text-aligned interactions with surrounding objects. This challenge stems from the need for environmental perception and the control-quality dilemma in GHOI generation. To address this, we propose a novel dual-stream framework, InteractAvatar, which decouples perception and planning from video synthesis for grounded human-object interaction. Leveraging detection to enhance environmental perception, we introduce a Perception and Interaction Module (PIM) to generate text-aligned interaction motions. Additionally, an Audio-Interaction Aware Generation Module (AIM) is proposed to synthesize vivid talking avatars performing object interactions. With a specially designed motion-to-video aligner, PIM and AIM share a similar network structure and enable parallel co-generation of motions and plausible videos, effectively mitigating the control-quality dilemma. Finally, we establish a benchmark, GroundedInter, for evaluating GHOI video generation. Extensive experiments and comparisons demonstrate the effectiveness of our method in generating grounded human-object interactions for talking avatars. Project page: https://interactavatar.github.io