TeamHOI: Erlernen einer einheitlichen Strategie für kooperative Mensch-Objekt-Interaktionen mit beliebiger Teamgröße

TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size

March 9, 2026

Autoren: Stefan Lionar, Gim Hee Lee

cs.AI

Zusammenfassung

Die physikbasierte Steuerung von Humanoiden hat bemerkenswerte Fortschritte bei der Realisierung realistischer und leistungsstarker Einzelagenten-Verhaltensweisen erzielt. Die Übertragung dieser Fähigkeiten auf kooperative Mensch-Objekt-Interaktionen (HOI) bleibt jedoch eine Herausforderung. Wir stellen TeamHOI vor, einen Rahmen, der es einer einzigen dezentralen Policy ermöglicht, kooperative HOIs mit beliebig vielen zusammenarbeitenden Agenten zu bewältigen. Jeder Agent arbeitet mit lokalen Beobachtungen, während er über ein Transformer-basiertes Policy-Netzwerk mit Teammitglieder-Tokens Aufmerksamkeit auf andere Teammitglieder richtet, was eine skalierbare Koordination über variable Teamgrößen hinweg ermöglicht. Um die Bewegungsrealismus zu gewährleisten und gleichzeitig der Knappheit an kooperativen HOI-Daten zu begegnen, führen wir eine Strategie mit maskiertem Adversarial Motion Prior (AMP) ein. Diese verwendet Referenzbewegungen einzelner Personen und maskiert während des Trainings die mit Objekten interagierenden Körperteile. Die maskierten Bereiche werden anschließend durch Aufgaben-Belohnungen so gelenkt, dass sie vielfältige und physikalisch plausible kooperative Verhaltensweisen erzeugen. Wir evaluieren TeamHOI anhand einer anspruchsvollen kooperativen Tragaufgabe mit zwei bis acht humanoiden Agenten und variierenden Objektgeometrien. Abschließend entwerfen wir eine teamgrößen- und formunabhängige Formationsbelohnung, um stabiles Tragen zu fördern. TeamHOI erreicht hohe Erfolgsquoten und demonstriert kohärente Kooperation über diverse Konfigurationen hinweg mit einer einzigen Policy.

English

Physics-based humanoid control has achieved remarkable progress in enabling realistic and high-performing single-agent behaviors, yet extending these capabilities to cooperative human-object interaction (HOI) remains challenging. We present TeamHOI, a framework that enables a single decentralized policy to handle cooperative HOIs across any number of cooperating agents. Each agent operates using local observations while attending to other teammates through a Transformer-based policy network with teammate tokens, allowing scalable coordination across variable team sizes. To enforce motion realism while addressing the scarcity of cooperative HOI data, we further introduce a masked Adversarial Motion Prior (AMP) strategy that uses single-human reference motions while masking object-interacting body parts during training. The masked regions are then guided through task rewards to produce diverse and physically plausible cooperative behaviors. We evaluate TeamHOI on a challenging cooperative carrying task involving two to eight humanoid agents and varied object geometries. Finally, to promote stable carrying, we design a team-size- and shape-agnostic formation reward. TeamHOI achieves high success rates and demonstrates coherent cooperation across diverse configurations with a single policy.