InterPrior: Schaalvergroting van Generatieve Controle voor Fysica-gebaseerde Mens-Object Interacties

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

February 5, 2026

Auteurs: Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui

cs.AI

Samenvatting

Mensen plannen zelden volledige lichaamsinteracties met objecten op het niveau van expliciete lichaamsbewegingen. Hoogwaardige intenties, zoals affordantie, definiëren het doel, terwijl gecoördineerd evenwicht, contact en manipulatie natuurlijk kunnen voortkomen uit onderliggende fysieke en motorische priors. Het schalen van dergelijke priors is essentieel om humanoïden in staat te stellen loco-manipulatievaardigheden te componeren en te generaliseren in uiteenlopende contexten, met behoud van fysiek coherente volledige lichaamscoördinatie. Hiertoe introduceren wij InterPrior, een schaalbaar raamwerk dat een verenigde generatieve controller leert door grootschalige imitatiepretraining en natreining door reinforcement learning. InterPrior destilleert eerst een imitatie-expert met volledige referentie naar een veelzijdig, doel-geconditioneerd variationeel beleid dat beweging reconstrueert uit multimodale observaties en hoogwaardige intentie. Hoewel het gedestilleerde beleid getrainde gedragingen reconstrueert, generaliseert het niet betrouwbaar vanwege de uitgebreide configuratieruimte van grootschalige mens-objectinteracties. Om dit aan te pakken, passen wij data-augmentatie toe met fysieke perturbaties, en voeren vervolgens reinforcement learning finetuning uit om de competentie op ongeziene doelen en initialisaties te verbeteren. Samen consolideren deze stappen de gereconstrueerde latente vaardigheden tot een geldige variëteit, wat resulteert in een beweging-prior die generaliseert voorbij de trainingsdata, bijvoorbeeld door nieuw gedrag te incorporeren zoals interacties met ongeziene objecten. Wij demonstreren verder de effectiviteit voor gebruikersinteractieve controle en het potentieel voor implementatie op echte robots.

English

Humans rarely plan whole-body interactions with objects at the level of explicit whole-body movements. High-level intentions, such as affordance, define the goal, while coordinated balance, contact, and manipulation can emerge naturally from underlying physical and motor priors. Scaling such priors is key to enabling humanoids to compose and generalize loco-manipulation skills across diverse contexts while maintaining physically coherent whole-body coordination. To this end, we introduce InterPrior, a scalable framework that learns a unified generative controller through large-scale imitation pretraining and post-training by reinforcement learning. InterPrior first distills a full-reference imitation expert into a versatile, goal-conditioned variational policy that reconstructs motion from multimodal observations and high-level intent. While the distilled policy reconstructs training behaviors, it does not generalize reliably due to the vast configuration space of large-scale human-object interactions. To address this, we apply data augmentation with physical perturbations, and then perform reinforcement learning finetuning to improve competence on unseen goals and initializations. Together, these steps consolidate the reconstructed latent skills into a valid manifold, yielding a motion prior that generalizes beyond the training data, e.g., it can incorporate new behaviors such as interactions with unseen objects. We further demonstrate its effectiveness for user-interactive control and its potential for real robot deployment.