IAM: 아이덴티티 인식 인간 동작 및 형태 결합 생성

초록

텍스트 기반 인간 모션 생성의 최근 발전으로 모델이 자연어 설명에서 사실적인 모션 시퀀스를 합성할 수 있게 되었습니다. 그러나 대부분의 기존 접근법은 정체성 중립적 모션을 가정하고 표준화된 신체 표현을 사용하여 동작을 생성함으로써 신체 형태가 모션 역학에 미치는 강한 영향을 무시합니다. 실제로 신체 비율, 질량 분포, 나이와 같은 속성들은 동작 수행 방식에 상당한 영향을 미치며, 이러한 결합을 간과하면 물리적으로 일관성 없는 모션이 발생하는 경우가 많습니다. 우리는 신체 형태와 모션 역학 간의 관계를 명시적으로 모델링하는 정체성 인식 모션 생성 프레임워크를 제안합니다. 명시적인 기하학적 측정에 의존하는 대신, 자연어 설명과 시각적 단서를 포함한 다중 모드 신호를 사용하여 정체성을 표현합니다. 더 나아가 모션 시퀀스와 신체 형상 매개변수를 동시에 합성하는 결합된 모션-형상 생성 패러다임을 도입하여 정체성 단서가 모션 역학을 직접 조절할 수 있도록 합니다. 모션 캡처 데이터셋과 대규모 실제 영상에 대한 광범위한 실험을 통해 높은 모션 품질을 유지하면서 향상된 모션 현실감과 모션-정체성 일관성을 입증합니다. 프로젝트 페이지: https://vjwq.github.io/IAM

English

Recent advances in text-driven human motion generation enable models to synthesize realistic motion sequences from natural language descriptions. However, most existing approaches assume identity-neutral motion and generate movements using a canonical body representation, ignoring the strong influence of body morphology on motion dynamics. In practice, attributes such as body proportions, mass distribution, and age significantly affect how actions are performed, and neglecting this coupling often leads to physically inconsistent motions. We propose an identity-aware motion generation framework that explicitly models the relationship between body morphology and motion dynamics. Instead of relying on explicit geometric measurements, identity is represented using multimodal signals, including natural language descriptions and visual cues. We further introduce a joint motion-shape generation paradigm that simultaneously synthesizes motion sequences and body shape parameters, allowing identity cues to directly modulate motion dynamics. Extensive experiments on motion capture datasets and large-scale in-the-wild videos demonstrate improved motion realism and motion-identity consistency while maintaining high motion quality. Project page: https://vjwq.github.io/IAM

IAM: 아이덴티티 인식 인간 동작 및 형태 결합 생성

IAM: Identity-Aware Human Motion and Shape Joint Generation

초록

Support