Embody 3D: Масштабный мультимодальный набор данных о движениях и поведении
Embody 3D: A Large-scale Multimodal Motion and Behavior Dataset
October 17, 2025
Авторы: Claire McLean, Makenzie Meendering, Tristan Swartz, Orri Gabbay, Alexandra Olsen, Rachel Jacobs, Nicholas Rosen, Philippe de Bree, Tony Garcia, Gadsden Merrill, Jake Sandakly, Julia Buffalini, Neham Jain, Steven Krenn, Moneish Kumar, Dejan Markovic, Evonne Ng, Fabian Prada, Andrew Saba, Siwei Zhang, Vasu Agrawal, Tim Godisart, Alexander Richard, Michael Zollhoefer
cs.AI
Аннотация
Лаборатория Codec Avatars компании Meta представляет Embody 3D — мультимодальный набор данных, содержащий 500 индивидуальных часов 3D-данных о движении, собранных от 439 участников в многокамерной съемочной студии, что составляет более 54 миллионов кадров отслеженного 3D-движения. Набор данных включает широкий спектр движений одного человека, таких как заданные движения, жесты руками и перемещения, а также данные о поведении и взаимодействии нескольких людей, включая обсуждения, разговоры в различных эмоциональных состояниях, совместные действия и сценарии совместного проживания в пространстве, напоминающем квартиру. Мы предоставляем отслеженное движение человека, включая движение рук и форму тела, текстовые аннотации, а также отдельные аудиодорожки для каждого участника.
English
The Codec Avatars Lab at Meta introduces Embody 3D, a multimodal dataset of
500 individual hours of 3D motion data from 439 participants collected in a
multi-camera collection stage, amounting to over 54 million frames of tracked
3D motion. The dataset features a wide range of single-person motion data,
including prompted motions, hand gestures, and locomotion; as well as
multi-person behavioral and conversational data like discussions, conversations
in different emotional states, collaborative activities, and co-living
scenarios in an apartment-like space. We provide tracked human motion including
hand tracking and body shape, text annotations, and a separate audio track for
each participant.