Escalando el Modelado de Interacciones Dinámicas entre Humanos y Escenas

Scaling Up Dynamic Human-Scene Interaction Modeling

March 13, 2024

Autores: Nan Jiang, Zhiyuan Zhang, Hongjie Li, Xiaoxuan Ma, Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, Siyuan Huang

cs.AI

Resumen

Enfrentando los desafíos de la escasez de datos y la síntesis avanzada de movimientos en el modelado de interacciones humano-escena, presentamos el conjunto de datos TRUMANS junto con un novedoso método de síntesis de movimientos HSI. TRUMANS se erige como el conjunto de datos HSI capturado por movimiento más completo disponible actualmente, abarcando más de 15 horas de interacciones humanas en 100 escenas interiores. Captura de manera detallada los movimientos humanos de cuerpo completo y la dinámica a nivel de partes de los objetos, centrándose en el realismo del contacto. Este conjunto de datos se amplía aún más transformando entornos físicos en modelos virtuales exactos y aplicando amplias aumentaciones a la apariencia y el movimiento tanto de humanos como de objetos, manteniendo la fidelidad de la interacción. Utilizando TRUMANS, diseñamos un modelo autorregresivo basado en difusión que genera eficientemente secuencias HSI de cualquier longitud, teniendo en cuenta tanto el contexto de la escena como las acciones previstas. En los experimentos, nuestro enfoque muestra una notable generalización zero-shot en una variedad de conjuntos de datos de escenas 3D (por ejemplo, PROX, Replica, ScanNet, ScanNet++), produciendo movimientos que imitan de cerca las secuencias originales capturadas por movimiento, según lo confirman los experimentos cuantitativos y los estudios con humanos.

English

Confronting the challenges of data scarcity and advanced motion synthesis in human-scene interaction modeling, we introduce the TRUMANS dataset alongside a novel HSI motion synthesis method. TRUMANS stands as the most comprehensive motion-captured HSI dataset currently available, encompassing over 15 hours of human interactions across 100 indoor scenes. It intricately captures whole-body human motions and part-level object dynamics, focusing on the realism of contact. This dataset is further scaled up by transforming physical environments into exact virtual models and applying extensive augmentations to appearance and motion for both humans and objects while maintaining interaction fidelity. Utilizing TRUMANS, we devise a diffusion-based autoregressive model that efficiently generates HSI sequences of any length, taking into account both scene context and intended actions. In experiments, our approach shows remarkable zero-shot generalizability on a range of 3D scene datasets (e.g., PROX, Replica, ScanNet, ScanNet++), producing motions that closely mimic original motion-captured sequences, as confirmed by quantitative experiments and human studies.