TeamHOI: Aprendizaje de una Política Unificada para Interacciones Cooperativas Humano-Objeto con Cualquier Tamaño de Equipo

TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size

March 9, 2026

Autores: Stefan Lionar, Gim Hee Lee

cs.AI

Resumen

El control de humanoides basado en física ha logrado un progreso notable en la generación de comportamientos realistas y de alto rendimiento para un solo agente, sin embargo, extender estas capacidades a la interacción cooperativa humano-objeto (HOI) sigue siendo un desafío. Presentamos TeamHOI, un marco que permite que una única política descentralizada gestione HOIs cooperativas con cualquier número de agentes cooperantes. Cada agente opera utilizando observaciones locales mientras atiende a otros compañeros de equipo a través de una red de políticas basada en Transformer con tokens de compañeros, permitiendo una coordinación escalable en tamaños de equipo variables. Para garantizar el realismo del movimiento mientras se aborda la escasez de datos de HOI cooperativos, introducimos además una estrategia enmascarada de Prioridad de Movimiento Adversarial (AMP) que utiliza movimientos de referencia de un solo humano mientras enmascara las partes del cuerpo que interactúan con el objeto durante el entrenamiento. Las regiones enmascaradas son luego guiadas mediante recompensas de tarea para producir comportamientos cooperativos diversos y físicamente plausibles. Evaluamos TeamHOI en una tarea de transporte cooperativo que implica de dos a ocho agentes humanoides y geometrías de objetos variadas. Finalmente, para promover un transporte estable, diseñamos una recompensa de formación independiente del tamaño del equipo y la forma. TeamHOI logra altas tasas de éxito y demuestra una cooperación coherente en diversas configuraciones con una única política.

English

Physics-based humanoid control has achieved remarkable progress in enabling realistic and high-performing single-agent behaviors, yet extending these capabilities to cooperative human-object interaction (HOI) remains challenging. We present TeamHOI, a framework that enables a single decentralized policy to handle cooperative HOIs across any number of cooperating agents. Each agent operates using local observations while attending to other teammates through a Transformer-based policy network with teammate tokens, allowing scalable coordination across variable team sizes. To enforce motion realism while addressing the scarcity of cooperative HOI data, we further introduce a masked Adversarial Motion Prior (AMP) strategy that uses single-human reference motions while masking object-interacting body parts during training. The masked regions are then guided through task rewards to produce diverse and physically plausible cooperative behaviors. We evaluate TeamHOI on a challenging cooperative carrying task involving two to eight humanoid agents and varied object geometries. Finally, to promote stable carrying, we design a team-size- and shape-agnostic formation reward. TeamHOI achieves high success rates and demonstrates coherent cooperation across diverse configurations with a single policy.