Mise à l'échelle de la modélisation dynamique des interactions humain-scène

Scaling Up Dynamic Human-Scene Interaction Modeling

March 13, 2024

Auteurs: Nan Jiang, Zhiyuan Zhang, Hongjie Li, Xiaoxuan Ma, Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, Siyuan Huang

cs.AI

Résumé

Face aux défis de la rareté des données et de la synthèse avancée de mouvements dans la modélisation des interactions humain-environnement, nous présentons le jeu de données TRUMANS ainsi qu'une nouvelle méthode de synthèse de mouvements pour les interactions humain-environnement (HSI). TRUMANS se positionne comme le jeu de données HSI capturé en mouvement le plus complet actuellement disponible, englobant plus de 15 heures d'interactions humaines dans 100 environnements intérieurs. Il capture de manière détaillée les mouvements du corps entier et la dynamique des objets au niveau des parties, en mettant l'accent sur le réalisme des contacts. Ce jeu de données est ensuite amplifié par la transformation des environnements physiques en modèles virtuels exacts et par l'application d'extensions importantes à l'apparence et au mouvement des humains et des objets, tout en préservant la fidélité des interactions. En exploitant TRUMANS, nous concevons un modèle autoregressif basé sur la diffusion qui génère efficacement des séquences HSI de toute longueur, en tenant compte à la fois du contexte de la scène et des actions prévues. Dans les expériences, notre approche démontre une généralisation remarquable en zero-shot sur une gamme de jeux de données de scènes 3D (par exemple, PROX, Replica, ScanNet, ScanNet++), produisant des mouvements qui imitent de près les séquences originales capturées en mouvement, comme le confirment les expériences quantitatives et les études humaines.

English

Confronting the challenges of data scarcity and advanced motion synthesis in human-scene interaction modeling, we introduce the TRUMANS dataset alongside a novel HSI motion synthesis method. TRUMANS stands as the most comprehensive motion-captured HSI dataset currently available, encompassing over 15 hours of human interactions across 100 indoor scenes. It intricately captures whole-body human motions and part-level object dynamics, focusing on the realism of contact. This dataset is further scaled up by transforming physical environments into exact virtual models and applying extensive augmentations to appearance and motion for both humans and objects while maintaining interaction fidelity. Utilizing TRUMANS, we devise a diffusion-based autoregressive model that efficiently generates HSI sequences of any length, taking into account both scene context and intended actions. In experiments, our approach shows remarkable zero-shot generalizability on a range of 3D scene datasets (e.g., PROX, Replica, ScanNet, ScanNet++), producing motions that closely mimic original motion-captured sequences, as confirmed by quantitative experiments and human studies.