Embody 3D: 대규모 멀티모달 동작 및 행동 데이터셋
Embody 3D: A Large-scale Multimodal Motion and Behavior Dataset
October 17, 2025
저자: Claire McLean, Makenzie Meendering, Tristan Swartz, Orri Gabbay, Alexandra Olsen, Rachel Jacobs, Nicholas Rosen, Philippe de Bree, Tony Garcia, Gadsden Merrill, Jake Sandakly, Julia Buffalini, Neham Jain, Steven Krenn, Moneish Kumar, Dejan Markovic, Evonne Ng, Fabian Prada, Andrew Saba, Siwei Zhang, Vasu Agrawal, Tim Godisart, Alexander Richard, Michael Zollhoefer
cs.AI
초록
메타의 Codec Avatars Lab은 Embody 3D 데이터셋을 소개합니다. 이 데이터셋은 다중 카메라 수집 환경에서 439명의 참가자로부터 수집된 500시간 분량의 3D 모션 데이터로, 총 5,400만 프레임 이상의 추적된 3D 모션을 포함하고 있습니다. 데이터셋은 단일 인물의 다양한 동작 데이터를 포함하며, 이는 프롬프트에 따른 동작, 손 제스처, 이동 동작 등을 포괄합니다. 또한 다중 인물 간의 행동 및 대화 데이터도 포함되어 있는데, 이는 토론, 다양한 감정 상태에서의 대화, 협업 활동, 아파트와 유사한 공간에서의 공동 생활 시나리오 등을 다룹니다. 데이터셋은 손 추적 및 신체 형태를 포함한 인간 동작 추적 데이터, 텍스트 주석, 그리고 각 참가자별 개별 오디오 트랙을 제공합니다.
English
The Codec Avatars Lab at Meta introduces Embody 3D, a multimodal dataset of
500 individual hours of 3D motion data from 439 participants collected in a
multi-camera collection stage, amounting to over 54 million frames of tracked
3D motion. The dataset features a wide range of single-person motion data,
including prompted motions, hand gestures, and locomotion; as well as
multi-person behavioral and conversational data like discussions, conversations
in different emotional states, collaborative activities, and co-living
scenarios in an apartment-like space. We provide tracked human motion including
hand tracking and body shape, text annotations, and a separate audio track for
each participant.