InterPrior: 물리 기반 인간-물체 상호작용을 위한 생성적 제어 확장

초록

인간은 명시적인 전신 동작 수준에서 객체와의 전신 상호작용을 거의 계획하지 않습니다. 어포던스와 같은 고차원 의도가 목표를 정의하는 반면, 조화로운 균형, 접촉, 조작은 기저에 있는 물리적 및 운동 사전 지식에서 자연스럽게 나타납니다. 이러한 사전 지식을 확장하는 것은 휴머노이드가 물리적으로 일관된 전신 조화를 유지하면서 다양한 맥락에서 이동-조작 기술을 구성하고 일반화할 수 있도록 하는 핵심 요소입니다. 이를 위해 우리는 대규모 모방 사전 훈련과 강화 학습을 통한 사후 훈련으로 통합 생성 제어기를 학습하는 확장 가능한 프레임워크인 InterPrior를 소개합니다. InterPrior는 먼저 전체 참조 모방 전문가를 다중 모드 관측 및 고차원 의도로부터 운동을 재구성하는 다목적 목표 조건 변분 정책으로 정제합니다. 정제된 정책은 훈련 동작을 재구성하지만, 대규모 인간-객체 상호작용의 방대한 구성 공간으로 인해 안정적으로 일반화하지는 못합니다. 이를 해결하기 위해 물리적 섭동을 통한 데이터 증강을 적용한 후, 보이지 않는 목표 및 초기화 조건에서 성능을 향상시키기 위해 강화 학습 미세 조정을 수행합니다. 이러한 단계들을 함께 통해 재구성된 잠재 기술들을 유효한 다양체로 통합하여, 훈련 데이터를 넘어서는 일반화 능력을 가진 운동 사전을 생성합니다. 예를 들어, 이는 보이지 않는 객체와의 상호작용과 같은 새로운 행동들을 통합할 수 있습니다. 우리는 또한 사용자 상호형 제어에서의 효과성과 실제 로봇 적용 가능성을 추가로 입증합니다.

English

Humans rarely plan whole-body interactions with objects at the level of explicit whole-body movements. High-level intentions, such as affordance, define the goal, while coordinated balance, contact, and manipulation can emerge naturally from underlying physical and motor priors. Scaling such priors is key to enabling humanoids to compose and generalize loco-manipulation skills across diverse contexts while maintaining physically coherent whole-body coordination. To this end, we introduce InterPrior, a scalable framework that learns a unified generative controller through large-scale imitation pretraining and post-training by reinforcement learning. InterPrior first distills a full-reference imitation expert into a versatile, goal-conditioned variational policy that reconstructs motion from multimodal observations and high-level intent. While the distilled policy reconstructs training behaviors, it does not generalize reliably due to the vast configuration space of large-scale human-object interactions. To address this, we apply data augmentation with physical perturbations, and then perform reinforcement learning finetuning to improve competence on unseen goals and initializations. Together, these steps consolidate the reconstructed latent skills into a valid manifold, yielding a motion prior that generalizes beyond the training data, e.g., it can incorporate new behaviors such as interactions with unseen objects. We further demonstrate its effectiveness for user-interactive control and its potential for real robot deployment.

InterPrior: 물리 기반 인간-물체 상호작용을 위한 생성적 제어 확장

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

초록

Support