NIFTY: 인간 동작 합성을 위한 신경 객체 상호작용 필드

초록

본 연구에서는 장면 내 물체와 상호작용하는 인간의 현실적인 3D 동작을 생성하는 문제를 다룬다. 핵심 아이디어는 특정 물체에 부착된 신경 상호작용 필드를 생성하여, 인간의 자세를 입력으로 받아 유효한 상호작용 매니폴드까지의 거리를 출력하는 것이다. 이 상호작용 필드는 물체 조건부 인간 동작 확산 모델의 샘플링을 안내하여, 그럴듯한 접촉과 어포던스 의미론을 촉진한다. 데이터가 부족한 상호작용을 지원하기 위해, 우리는 자동화된 합성 데이터 파이프라인을 제안한다. 이를 위해, 인간 움직임의 기본에 대한 사전 지식을 갖춘 사전 학습된 동작 모델에 제한된 모션 캡처 데이터에서 추출한 상호작용 특정 앵커 자세를 입력한다. 생성된 합성 데이터로 학습된 우리의 안내 확산 모델을 사용하여, 여러 물체에 대한 앉기 및 들기 동작을 현실적으로 합성하며, 동작 품질과 성공적인 행동 완료 측면에서 대안적 접근법을 능가한다. 우리는 이 프레임워크를 NIFTY(Neural Interaction Fields for Trajectory sYnthesis)라고 명명한다.

English

We address the problem of generating realistic 3D motions of humans interacting with objects in a scene. Our key idea is to create a neural interaction field attached to a specific object, which outputs the distance to the valid interaction manifold given a human pose as input. This interaction field guides the sampling of an object-conditioned human motion diffusion model, so as to encourage plausible contacts and affordance semantics. To support interactions with scarcely available data, we propose an automated synthetic data pipeline. For this, we seed a pre-trained motion model, which has priors for the basics of human movement, with interaction-specific anchor poses extracted from limited motion capture data. Using our guided diffusion model trained on generated synthetic data, we synthesize realistic motions for sitting and lifting with several objects, outperforming alternative approaches in terms of motion quality and successful action completion. We call our framework NIFTY: Neural Interaction Fields for Trajectory sYnthesis.

NIFTY: 인간 동작 합성을 위한 신경 객체 상호작용 필드

NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis

초록

Support