InterPrior: Escalonando o Controle Generativo para Interações Humano-Objeto Baseadas em Física
InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions
February 5, 2026
Autores: Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui
cs.AI
Resumo
Os seres humanos raramente planejam interações corporais completas com objetos ao nível de movimentos explícitos do corpo. Intenções de alto nível, como a affordance, definem o objetivo, enquanto o equilíbrio coordenado, o contacto e a manipulação podem emergir naturalmente de pressupostos físicos e motores subjacentes. A escalabilidade desses pressupostos é fundamental para permitir que humanoides componham e generalizem habilidades de loco-manipulação em diversos contextos, mantendo uma coordenação corporal fisicamente coerente. Para esse fim, apresentamos o InterPrior, uma estrutura escalável que aprende um controlador generativo unificado através de pré-treinamento por imitação em larga escala e pós-treinamento por aprendizagem por reforço. O InterPrimeiro destila um especialista em imitação de referência completa numa política variacional versátil e condicionada por objetivos, que reconstrói o movimento a partir de observações multimodais e intenções de alto nível. Embora a política destilada reconstrua comportamentos de treino, ela não generaliza de forma confiável devido ao vasto espaço de configuração das interações em larga escala entre humanos e objetos. Para resolver isso, aplicamos aumento de dados com perturbações físicas e, em seguida, realizamos um afinamento por aprendizagem por reforço para melhorar a competência em objetivos e inicializações não vistos. Juntas, estas etapas consolidam as habilidades latentes reconstruídas numa variedade válida, produzindo um pressuposto de movimento que generaliza para além dos dados de treino, por exemplo, pode incorporar novos comportamentos, como interações com objetos não vistos. Demonstramos ainda a sua eficácia para controlo interativo do utilizador e o seu potencial para implementação em robôs reais.
English
Humans rarely plan whole-body interactions with objects at the level of explicit whole-body movements. High-level intentions, such as affordance, define the goal, while coordinated balance, contact, and manipulation can emerge naturally from underlying physical and motor priors. Scaling such priors is key to enabling humanoids to compose and generalize loco-manipulation skills across diverse contexts while maintaining physically coherent whole-body coordination. To this end, we introduce InterPrior, a scalable framework that learns a unified generative controller through large-scale imitation pretraining and post-training by reinforcement learning. InterPrior first distills a full-reference imitation expert into a versatile, goal-conditioned variational policy that reconstructs motion from multimodal observations and high-level intent. While the distilled policy reconstructs training behaviors, it does not generalize reliably due to the vast configuration space of large-scale human-object interactions. To address this, we apply data augmentation with physical perturbations, and then perform reinforcement learning finetuning to improve competence on unseen goals and initializations. Together, these steps consolidate the reconstructed latent skills into a valid manifold, yielding a motion prior that generalizes beyond the training data, e.g., it can incorporate new behaviors such as interactions with unseen objects. We further demonstrate its effectiveness for user-interactive control and its potential for real robot deployment.