TeamHOI: Een Geünificeerd Beleid Leren voor Coöperatieve Mens-Object Interacties met Willekeurige Teamgrootte
TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size
March 9, 2026
Auteurs: Stefan Lionar, Gim Hee Lee
cs.AI
Samenvatting
Op fysica gebaseerde humanoïde controle heeft opmerkelijke vooruitgang geboekt in het realiseren van realistische en hoogpresterende gedragingen voor individuele agents, maar het uitbreiden van deze mogelijkheden naar cooperatieve mens-objectinteractie (HOI) blijft een uitdaging. Wij presenteren TeamHOI, een raamwerk dat een enkel gedecentraliseerd beleid in staat stelt om cooperatieve HOI's af te handelen met een willekeurig aantal samenwerkende agents. Elk agent opereert op basis van lokale observaties, terwijl het aandacht besteedt aan andere teamgenoten via een op Transformer gebaseerd beleidsnetwerk met teamgenoot-tokens, wat schaalbare coördinatie over variabele teamgroottes mogelijk maakt. Om bewegingrealisme af te dwingen en het gebrek aan cooperatieve HOI-data aan te pakken, introduceren we verder een gemaskeerde Adversarial Motion Prior (AMP)-strategie die referentiebewegingen van individuele personen gebruikt terwijl object-interagerende lichaamsdelen tijdens de training worden gemaskeerd. De gemaskeerde regio's worden vervolgens gestuurd door taakbeloningen om diverse en fysiek plausibele cooperatieve gedragingen te produceren. We evalueren TeamHOI op een uitdagende cooperatieve draagtaak waarbij twee tot acht humanoïde agents en gevarieerde objectgeometrieën betrokken zijn. Ten slotte ontwerpen we, om stabiel dragen te bevorderen, een teamgrootte- en vormagnostische formatiebeloning. TeamHOI behaalt hoge slagingspercentages en demonstreert samenhangende samenwerking over diverse configuraties heen met een enkel beleid.
English
Physics-based humanoid control has achieved remarkable progress in enabling realistic and high-performing single-agent behaviors, yet extending these capabilities to cooperative human-object interaction (HOI) remains challenging. We present TeamHOI, a framework that enables a single decentralized policy to handle cooperative HOIs across any number of cooperating agents. Each agent operates using local observations while attending to other teammates through a Transformer-based policy network with teammate tokens, allowing scalable coordination across variable team sizes. To enforce motion realism while addressing the scarcity of cooperative HOI data, we further introduce a masked Adversarial Motion Prior (AMP) strategy that uses single-human reference motions while masking object-interacting body parts during training. The masked regions are then guided through task rewards to produce diverse and physically plausible cooperative behaviors. We evaluate TeamHOI on a challenging cooperative carrying task involving two to eight humanoid agents and varied object geometries. Finally, to promote stable carrying, we design a team-size- and shape-agnostic formation reward. TeamHOI achieves high success rates and demonstrates coherent cooperation across diverse configurations with a single policy.