InterPrior: Escalando el Control Generativo para Interacciones Humano-Objeto Basadas en Física
InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions
February 5, 2026
Autores: Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui
cs.AI
Resumen
Los humanos rara vez planifican interacciones de cuerpo completo con objetos a nivel de movimientos explícitos de todo el cuerpo. Intenciones de alto nivel, como la affordancia, definen el objetivo, mientras que el equilibrio coordinado, el contacto y la manipulación pueden surgir naturalmente de previos físicos y motores subyacentes. Escalar dichos previos es clave para permitir que los humanoides compongan y generalicen habilidades de locomoción-manipulación en diversos contextos, manteniendo una coordinación corporal completa físicamente coherente. Con este fin, presentamos InterPrior, un marco escalable que aprende un controlador generativo unificado mediante preentrenamiento de imitación a gran escala y post-entrenamiento mediante aprendizaje por refuerzo. InterPrior primero destila un experto de imitación de referencia completa en una política variacional versátil condicionada por objetivos, que reconstruye el movimiento a partir de observaciones multimodales e intenciones de alto nivel. Si bien la política destilada reconstruye los comportamientos de entrenamiento, no generaliza de manera confiable debido al vasto espacio de configuraciones de las interacciones humano-objeto a gran escala. Para abordar esto, aplicamos aumento de datos con perturbaciones físicas y luego realizamos un ajuste fino por aprendizaje por refuerzo para mejorar la competencia en objetivos e inicializaciones no vistos. Juntos, estos pasos consolidan las habilidades latentes reconstruidas en una variedad válida, produciendo un previo de movimiento que generaliza más allá de los datos de entrenamiento; por ejemplo, puede incorporar nuevos comportamientos como interacciones con objetos no vistos. Además, demostramos su eficacia para el control interactivo del usuario y su potencial para la implementación en robots reales.
English
Humans rarely plan whole-body interactions with objects at the level of explicit whole-body movements. High-level intentions, such as affordance, define the goal, while coordinated balance, contact, and manipulation can emerge naturally from underlying physical and motor priors. Scaling such priors is key to enabling humanoids to compose and generalize loco-manipulation skills across diverse contexts while maintaining physically coherent whole-body coordination. To this end, we introduce InterPrior, a scalable framework that learns a unified generative controller through large-scale imitation pretraining and post-training by reinforcement learning. InterPrior first distills a full-reference imitation expert into a versatile, goal-conditioned variational policy that reconstructs motion from multimodal observations and high-level intent. While the distilled policy reconstructs training behaviors, it does not generalize reliably due to the vast configuration space of large-scale human-object interactions. To address this, we apply data augmentation with physical perturbations, and then perform reinforcement learning finetuning to improve competence on unseen goals and initializations. Together, these steps consolidate the reconstructed latent skills into a valid manifold, yielding a motion prior that generalizes beyond the training data, e.g., it can incorporate new behaviors such as interactions with unseen objects. We further demonstrate its effectiveness for user-interactive control and its potential for real robot deployment.