Заставить аватары взаимодействовать: к текстовому управлению взаимодействием человека с объектами для контролируемых говорящих аватаров

Making Avatars Interact: Towards Text-Driven Human-Object Interaction for Controllable Talking Avatars

February 2, 2026

Авторы: Youliang Zhang, Zhengguang Zhou, Zhentao Yu, Ziyao Huang, Teng Hu, Sen Liang, Guozhen Zhang, Ziqiao Peng, Shunkai Li, Yi Chen, Zixiang Zhou, Yuan Zhou, Qinglin Lu, Xiu Li

cs.AI

Аннотация

Генерация говорящих аватаров является фундаментальной задачей в области генерации видео. Хотя существующие методы позволяют создавать полнотелые говорящие аватары с простыми движениями человека, расширение этой задачи до обоснованного взаимодействия человека с объектами (GHOI) остается сложной проблемой, требующей от аватара выполнения взаимодействий с окружающими объектами, согласованных с текстовым описанием. Эта проблема обусловлена необходимостью восприятия окружающей среды и дилеммой контроля-качества в генерации GHOI. Для её решения мы предлагаем новую двухпотоковую архитектуру InteractAvatar, которая разделяет восприятие и планирование от синтеза видео для обоснованного взаимодействия человека с объектами. Используя детектирование для улучшения восприятия окружающей среды, мы представляем Модуль Восприятия и Взаимодействия (PIM) для генерации движений взаимодействия, согласованных с текстом. Дополнительно предлагается Аудио-Интерактивный Модуль Генерации (AIM) для синтеза реалистичных говорящих аватаров, выполняющих взаимодействия с объектами. Благодаря специально разработанному выравнивателю движений и видео, PIM и AIM имеют схожую структуру сети и позволяют параллельно совместно генерировать движения и правдоподобные видео, эффективно смягчая дилемму контроля-качества. Наконец, мы создали бенчмарк GroundedInter для оценки генерации видео GHOI. Многочисленные эксперименты и сравнения демонстрируют эффективность нашего метода в генерации обоснованного взаимодействия человека с объектами для говорящих аватаров. Страница проекта: https://interactavatar.github.io

English

Generating talking avatars is a fundamental task in video generation. Although existing methods can generate full-body talking avatars with simple human motion, extending this task to grounded human-object interaction (GHOI) remains an open challenge, requiring the avatar to perform text-aligned interactions with surrounding objects. This challenge stems from the need for environmental perception and the control-quality dilemma in GHOI generation. To address this, we propose a novel dual-stream framework, InteractAvatar, which decouples perception and planning from video synthesis for grounded human-object interaction. Leveraging detection to enhance environmental perception, we introduce a Perception and Interaction Module (PIM) to generate text-aligned interaction motions. Additionally, an Audio-Interaction Aware Generation Module (AIM) is proposed to synthesize vivid talking avatars performing object interactions. With a specially designed motion-to-video aligner, PIM and AIM share a similar network structure and enable parallel co-generation of motions and plausible videos, effectively mitigating the control-quality dilemma. Finally, we establish a benchmark, GroundedInter, for evaluating GHOI video generation. Extensive experiments and comparisons demonstrate the effectiveness of our method in generating grounded human-object interactions for talking avatars. Project page: https://interactavatar.github.io