Масштабирование моделирования динамического взаимодействия человека с сценой

Scaling Up Dynamic Human-Scene Interaction Modeling

March 13, 2024

Авторы: Nan Jiang, Zhiyuan Zhang, Hongjie Li, Xiaoxuan Ma, Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, Siyuan Huang

cs.AI

Аннотация

Преодолевая вызовы нехватки данных и продвинутого синтеза движения в моделировании взаимодействия человека с сценой, мы представляем набор данных TRUMANS наряду с новым методом синтеза движения HSI. TRUMANS является наиболее полным набором данных HSI с захватом движения, доступным на данный момент, охватывая более 15 часов взаимодействия людей в 100 внутренних сценах. Он тщательно записывает движения всего тела человека и динамику объектов на уровне частей, сосредотачиваясь на реализме контакта. Этот набор данных дополнительно масштабируется путем преобразования физических сред в точные виртуальные модели и применения обширных улучшений внешности и движения как для людей, так и для объектов, сохраняя при этом достоверность взаимодействия. Используя TRUMANS, мы разрабатываем модель авторегрессии на основе диффузии, которая эффективно генерирует последовательности HSI любой длины, учитывая как контекст сцены, так и задуманные действия. В экспериментах наш подход показывает замечательную обобщаемость без обучения на ряде наборов данных 3D сцен (например, PROX, Replica, ScanNet, ScanNet++), производя движения, которые близко имитируют оригинальные записанные последовательности движения, как подтверждено количественными экспериментами и исследованиями с участием людей.

English

Confronting the challenges of data scarcity and advanced motion synthesis in human-scene interaction modeling, we introduce the TRUMANS dataset alongside a novel HSI motion synthesis method. TRUMANS stands as the most comprehensive motion-captured HSI dataset currently available, encompassing over 15 hours of human interactions across 100 indoor scenes. It intricately captures whole-body human motions and part-level object dynamics, focusing on the realism of contact. This dataset is further scaled up by transforming physical environments into exact virtual models and applying extensive augmentations to appearance and motion for both humans and objects while maintaining interaction fidelity. Utilizing TRUMANS, we devise a diffusion-based autoregressive model that efficiently generates HSI sequences of any length, taking into account both scene context and intended actions. In experiments, our approach shows remarkable zero-shot generalizability on a range of 3D scene datasets (e.g., PROX, Replica, ScanNet, ScanNet++), producing motions that closely mimic original motion-captured sequences, as confirmed by quantitative experiments and human studies.