InterPrior: Scalabilità del Controllo Generativo per Interazioni Uomo-Oggetto Basate sulla Fisica
InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions
February 5, 2026
Autori: Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui
cs.AI
Abstract
Gli esseri umani raramente pianificano interazioni corporee complete con gli oggetti a livello di movimenti espliciti dell'intero corpo. Intenzioni di alto livello, come l'affordance, definiscono l'obiettivo, mentre l'equilibrio coordinato, il contatto e la manipolazione possono emergere naturalmente da precedenti fisici e motori sottostanti. Scalare tali precedenti è fondamentale per consentire agli umanoidi di comporre e generalizzare abilità di loco-manipolazione in contesti diversi, mantenendo un coordinamento fisicamente coerente dell'intero corpo. A tal fine, introduciamo InterPrior, un framework scalabile che apprende un controller generativo unificato attraverso un pre-addestramento su larga scala per imitazione e un post-addestramento mediante apprendimento per rinforzo. InterPrima distilla un esperto di imitazione a riferimento completo in una politica variazionale versatile e condizionata dall'obiettivo, che ricostruisce il movimento da osservazioni multimodali e intenti di alto livello. Sebbene la politica distillata ricostruisca i comportamenti di addestramento, non generalizza in modo affidabile a causa del vasto spazio di configurazione delle interazioni su larga scala tra uomo e oggetto. Per affrontare ciò, applichiamo l'aumento dei dati con perturbazioni fisiche, e successivamente eseguiamo un fine-tuning con apprendimento per rinforzo per migliorare la competenza su obiettivi e inizializzazioni non visti. Insieme, questi passi consolidano le abilità latenti ricostruite in una varietà valida, producendo un precedente di movimento che generalizza oltre i dati di addestramento, ad esempio, può incorporare nuovi comportamenti come interazioni con oggetti non visti. Ne dimostriamo ulteriormente l'efficacia per il controllo interattivo dell'utente e il suo potenziale per la distribuzione in robot reali.
English
Humans rarely plan whole-body interactions with objects at the level of explicit whole-body movements. High-level intentions, such as affordance, define the goal, while coordinated balance, contact, and manipulation can emerge naturally from underlying physical and motor priors. Scaling such priors is key to enabling humanoids to compose and generalize loco-manipulation skills across diverse contexts while maintaining physically coherent whole-body coordination. To this end, we introduce InterPrior, a scalable framework that learns a unified generative controller through large-scale imitation pretraining and post-training by reinforcement learning. InterPrior first distills a full-reference imitation expert into a versatile, goal-conditioned variational policy that reconstructs motion from multimodal observations and high-level intent. While the distilled policy reconstructs training behaviors, it does not generalize reliably due to the vast configuration space of large-scale human-object interactions. To address this, we apply data augmentation with physical perturbations, and then perform reinforcement learning finetuning to improve competence on unseen goals and initializations. Together, these steps consolidate the reconstructed latent skills into a valid manifold, yielding a motion prior that generalizes beyond the training data, e.g., it can incorporate new behaviors such as interactions with unseen objects. We further demonstrate its effectiveness for user-interactive control and its potential for real robot deployment.