InterPrior: Масштабирование генеративного управления для физически обоснованных взаимодействий человека с объектами

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

February 5, 2026

Авторы: Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui

cs.AI

Аннотация

Люди редко планируют целостные взаимодействия с объектами на уровне явных движений всего тела. Высокоуровневые интенции, такие как аффорданс, определяют цель, в то время как скоординированное равновесие, контакт и манипулирование могут естественным образом возникать из базовых физических и моторных априорных представлений. Масштабирование таких априорных знаний является ключевым для обеспечения способности гуманоидов комбинировать и обобщать навыки локомоции и манипуляции в различных контекстах при сохранении физически согласованной координации всего тела. Для достижения этой цели мы представляем InterPrior — масштабируемую структуру, которая обучает унифицированный генеративный контроллер посредством предварительного обучения на основе крупномасштабной имитации и последующего обучения с подкреплением. InterPrior сначала дистиллирует эксперта по полномасштабной имитации в универсальную вариационную политику, обусловленную целью, которая воссоздает движение на основе многомодальных наблюдений и высокоуровневого намерения. Хотя дистиллированная политика воспроизводит обучающие поведения, она не обеспечивает надежного обобщения из-за обширного пространства конфигураций крупномасштабных взаимодействий человек-объект. Чтобы решить эту проблему, мы применяем аугментацию данных с физическими возмущениями, а затем выполняем тонкую настройку методом обучения с подкреплением для повышения компетентности при работе с неизвестными целями и инициализациями. Вместе эти шаги консолидируют восстановленные латентные навыки в допустимое многообразие, порождая априорное распределение движений, которое обобщается за пределы обучающих данных, например, может включать новые поведения, такие как взаимодействия с неизвестными объектами. Мы также демонстрируем его эффективность для интерактивного управления пользователем и его потенциал для развертывания на реальных роботах.

English

Humans rarely plan whole-body interactions with objects at the level of explicit whole-body movements. High-level intentions, such as affordance, define the goal, while coordinated balance, contact, and manipulation can emerge naturally from underlying physical and motor priors. Scaling such priors is key to enabling humanoids to compose and generalize loco-manipulation skills across diverse contexts while maintaining physically coherent whole-body coordination. To this end, we introduce InterPrior, a scalable framework that learns a unified generative controller through large-scale imitation pretraining and post-training by reinforcement learning. InterPrior first distills a full-reference imitation expert into a versatile, goal-conditioned variational policy that reconstructs motion from multimodal observations and high-level intent. While the distilled policy reconstructs training behaviors, it does not generalize reliably due to the vast configuration space of large-scale human-object interactions. To address this, we apply data augmentation with physical perturbations, and then perform reinforcement learning finetuning to improve competence on unseen goals and initializations. Together, these steps consolidate the reconstructed latent skills into a valid manifold, yielding a motion prior that generalizes beyond the training data, e.g., it can incorporate new behaviors such as interactions with unseen objects. We further demonstrate its effectiveness for user-interactive control and its potential for real robot deployment.