InterPrior: Skalierbare generative Steuerung für physikbasierte Mensch-Objekt-Interaktionen

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

February 5, 2026

papers.authors: Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui

cs.AI

papers.abstract

Menschen planen Ganzkörperinteraktionen mit Objekten selten auf der Ebene expliziter Ganzkörperbewegungen. Übergeordnete Intentionen, wie Affordanzen, definieren das Ziel, während koordinierte Balance, Kontakt und Manipulation natürlich aus zugrunde liegenden physikalischen und motorischen Priors hervorgehen können. Die Skalierung solcher Priors ist entscheidend, um humanoide Roboter zu befähigen, Loko-Manipulations-Fertigkeiten über verschiedene Kontexte hinweg zusammenzusetzen und zu verallgemeinern und dabei physikalisch kohärente Ganzkörperkoordination beizubehalten. Zu diesem Zweck stellen wir InterPrior vor, ein skalierbares Framework, das einen einheitlichen generativen Controller durch groß angelegtes Imitations-Pretraining und anschließendes Training mittels Reinforcement Learning erlernt. InterPrior destilliert zunächst einen Referenz-Imitationsexperten in eine vielseitige, zielkonditionierte variationsbasierte Policy, die Bewegung aus multimodalen Beobachtungen und übergeordneter Absicht rekonstruiert. Während die destillierte Policy Trainingsverhalten rekonstruiert, generalisiert sie aufgrund des riesigen Konfigurationsraums groß angelegter Mensch-Objekt-Interaktionen nicht zuverlässig. Um dies zu adressieren, wenden wir Datenanreicherung mit physikalischen Störungen an und führen anschließend Reinforcement Learning Feintuning durch, um die Kompetenz bei ungesehenen Zielen und Initialisierungen zu verbessern. Zusammen konsolidieren diese Schritte die rekonstruierten latenten Fertigkeiten zu einer validen Mannigfaltigkeit, was einen Bewegungsprior ergibt, der über die Trainingsdaten hinaus generalisiert, z.B. kann er neue Verhaltensweisen wie Interaktionen mit ungesehenen Objekten integrieren. Wir demonstrieren weiterhin seine Effektivität für benutzerinteraktive Steuerung und sein Potenzial für den Einsatz auf echten Robotern.

English

Humans rarely plan whole-body interactions with objects at the level of explicit whole-body movements. High-level intentions, such as affordance, define the goal, while coordinated balance, contact, and manipulation can emerge naturally from underlying physical and motor priors. Scaling such priors is key to enabling humanoids to compose and generalize loco-manipulation skills across diverse contexts while maintaining physically coherent whole-body coordination. To this end, we introduce InterPrior, a scalable framework that learns a unified generative controller through large-scale imitation pretraining and post-training by reinforcement learning. InterPrior first distills a full-reference imitation expert into a versatile, goal-conditioned variational policy that reconstructs motion from multimodal observations and high-level intent. While the distilled policy reconstructs training behaviors, it does not generalize reliably due to the vast configuration space of large-scale human-object interactions. To address this, we apply data augmentation with physical perturbations, and then perform reinforcement learning finetuning to improve competence on unseen goals and initializations. Together, these steps consolidate the reconstructed latent skills into a valid manifold, yielding a motion prior that generalizes beyond the training data, e.g., it can incorporate new behaviors such as interactions with unseen objects. We further demonstrate its effectiveness for user-interactive control and its potential for real robot deployment.