Fazendo Avatares Interagirem: Rumo à Interação Humano-Objeto Orientada por Texto para Avatares Falantes Controláveis
Making Avatars Interact: Towards Text-Driven Human-Object Interaction for Controllable Talking Avatars
February 2, 2026
Autores: Youliang Zhang, Zhengguang Zhou, Zhentao Yu, Ziyao Huang, Teng Hu, Sen Liang, Guozhen Zhang, Ziqiao Peng, Shunkai Li, Yi Chen, Zixiang Zhou, Yuan Zhou, Qinglin Lu, Xiu Li
cs.AI
Resumo
A geração de avatares falantes é uma tarefa fundamental na geração de vídeo. Embora os métodos existentes possam gerar avatares falantes de corpo inteiro com movimento humano simples, estender esta tarefa para a interação humano-objeto fundamentada (GHOI) permanece um desafio em aberto, exigindo que o avatar execute interações alinhadas com texto com objetos ao redor. Este desafio decorre da necessidade de perceção ambiental e do dilema controlo-qualidade na geração de GHOI. Para resolver isto, propomos uma nova estrutura de fluxo duplo, InteractAvatar, que desacopla a perceção e o planeamento da síntese de vídeo para interação humano-objeto fundamentada. Aproveitando a deteção para melhorar a perceção ambiental, introduzimos um Módulo de Perceção e Interação (PIM) para gerar movimentos de interação alinhados com texto. Adicionalmente, é proposto um Módulo de Geração Consciente de Áudio-Interação (AIM) para sintetizar avatares falantes vívidos que realizam interações com objetos. Com um alinhador movimento-para-vídeo especialmente concebido, o PIM e o AIM partilham uma estrutura de rede semelhante e permitem a co-geração paralela de movimentos e vídeos plausíveis, mitigando eficazmente o dilema controlo-qualidade. Finalmente, estabelecemos um benchmark, GroundedInter, para avaliar a geração de vídeos GHOI. Experiências extensivas e comparações demonstram a eficácia do nosso método na geração de interações humano-objeto fundamentadas para avatares falantes. Página do projeto: https://interactavatar.github.io
English
Generating talking avatars is a fundamental task in video generation. Although existing methods can generate full-body talking avatars with simple human motion, extending this task to grounded human-object interaction (GHOI) remains an open challenge, requiring the avatar to perform text-aligned interactions with surrounding objects. This challenge stems from the need for environmental perception and the control-quality dilemma in GHOI generation. To address this, we propose a novel dual-stream framework, InteractAvatar, which decouples perception and planning from video synthesis for grounded human-object interaction. Leveraging detection to enhance environmental perception, we introduce a Perception and Interaction Module (PIM) to generate text-aligned interaction motions. Additionally, an Audio-Interaction Aware Generation Module (AIM) is proposed to synthesize vivid talking avatars performing object interactions. With a specially designed motion-to-video aligner, PIM and AIM share a similar network structure and enable parallel co-generation of motions and plausible videos, effectively mitigating the control-quality dilemma. Finally, we establish a benchmark, GroundedInter, for evaluating GHOI video generation. Extensive experiments and comparisons demonstrate the effectiveness of our method in generating grounded human-object interactions for talking avatars. Project page: https://interactavatar.github.io