Escalonando a Modelagem de Interação Dinâmica entre Humanos e Cenas

Scaling Up Dynamic Human-Scene Interaction Modeling

March 13, 2024

Autores: Nan Jiang, Zhiyuan Zhang, Hongjie Li, Xiaoxuan Ma, Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, Siyuan Huang

cs.AI

Resumo

Enfrentando os desafios da escassez de dados e da síntese avançada de movimentos na modelagem de interações humano-cena, apresentamos o conjunto de dados TRUMANS juntamente com um novo método de síntese de movimentos HSI. O TRUMANS se destaca como o conjunto de dados HSI capturado por movimento mais abrangente atualmente disponível, abrangendo mais de 15 horas de interações humanas em 100 cenas internas. Ele captura detalhadamente os movimentos humanos de corpo inteiro e a dinâmica de objetos em nível de partes, com foco no realismo do contato. Esse conjunto de dados é ainda ampliado pela transformação de ambientes físicos em modelos virtuais exatos e pela aplicação de extensas ampliações na aparência e no movimento tanto de humanos quanto de objetos, mantendo a fidelidade da interação. Utilizando o TRUMANS, desenvolvemos um modelo autoregressivo baseado em difusão que gera eficientemente sequências HSI de qualquer comprimento, levando em consideração tanto o contexto da cena quanto as ações pretendidas. Nos experimentos, nossa abordagem demonstra uma notável generalização zero-shot em uma variedade de conjuntos de dados de cenas 3D (por exemplo, PROX, Replica, ScanNet, ScanNet++), produzindo movimentos que imitam de perto as sequências originais capturadas por movimento, conforme confirmado por experimentos quantitativos e estudos com humanos.

English

Confronting the challenges of data scarcity and advanced motion synthesis in human-scene interaction modeling, we introduce the TRUMANS dataset alongside a novel HSI motion synthesis method. TRUMANS stands as the most comprehensive motion-captured HSI dataset currently available, encompassing over 15 hours of human interactions across 100 indoor scenes. It intricately captures whole-body human motions and part-level object dynamics, focusing on the realism of contact. This dataset is further scaled up by transforming physical environments into exact virtual models and applying extensive augmentations to appearance and motion for both humans and objects while maintaining interaction fidelity. Utilizing TRUMANS, we devise a diffusion-based autoregressive model that efficiently generates HSI sequences of any length, taking into account both scene context and intended actions. In experiments, our approach shows remarkable zero-shot generalizability on a range of 3D scene datasets (e.g., PROX, Replica, ScanNet, ScanNet++), producing motions that closely mimic original motion-captured sequences, as confirmed by quantitative experiments and human studies.