대규모 동적 인간-장면 상호작용 모델링 확장

Scaling Up Dynamic Human-Scene Interaction Modeling

March 13, 2024

저자: Nan Jiang, Zhiyuan Zhang, Hongjie Li, Xiaoxuan Ma, Zan Wang, Yixin Chen, Tengyu Liu, Yixin Zhu, Siyuan Huang

cs.AI

초록

데이터 부족과 고급 모션 합성의 과제에 직면한 인간-장면 상호작용 모델링 분야에서, 우리는 TRUMANS 데이터셋과 함께 새로운 HSI(Human-Scene Interaction) 모션 합성 방법을 소개합니다. TRUMANS은 현재 가장 포괄적인 모션 캡처 HSI 데이터셋으로, 100개의 실내 장면에서 15시간 이상의 인간 상호작용을 포함하고 있습니다. 이 데이터셋은 전신 인간 동작과 부분 수준의 물체 역학을 세밀하게 캡처하며, 접촉의 현실감에 초점을 맞춥니다. 또한, 물리적 환경을 정확한 가상 모델로 변환하고 인간과 물체 모두에 대해 외관과 동작의 광범위한 증강을 적용하면서 상호작용 충실도를 유지하여 데이터셋을 확장했습니다. TRUMANS을 활용하여, 우리는 장면 맥락과 의도된 행동을 모두 고려하여 임의의 길이의 HSI 시퀀스를 효율적으로 생성하는 확산 기반 자기회귀 모델을 설계했습니다. 실험에서 우리의 접근 방식은 다양한 3D 장면 데이터셋(예: PROX, Replica, ScanNet, ScanNet++)에서 뛰어난 제로샷 일반화 능력을 보여주며, 정량적 실험과 인간 평가를 통해 원본 모션 캡처 시퀀스와 매우 유사한 모션을 생성함을 확인했습니다.

English

Confronting the challenges of data scarcity and advanced motion synthesis in human-scene interaction modeling, we introduce the TRUMANS dataset alongside a novel HSI motion synthesis method. TRUMANS stands as the most comprehensive motion-captured HSI dataset currently available, encompassing over 15 hours of human interactions across 100 indoor scenes. It intricately captures whole-body human motions and part-level object dynamics, focusing on the realism of contact. This dataset is further scaled up by transforming physical environments into exact virtual models and applying extensive augmentations to appearance and motion for both humans and objects while maintaining interaction fidelity. Utilizing TRUMANS, we devise a diffusion-based autoregressive model that efficiently generates HSI sequences of any length, taking into account both scene context and intended actions. In experiments, our approach shows remarkable zero-shot generalizability on a range of 3D scene datasets (e.g., PROX, Replica, ScanNet, ScanNet++), producing motions that closely mimic original motion-captured sequences, as confirmed by quantitative experiments and human studies.