OneHOI: Unificatie van Generatie en Bewerking van Mens-Object Interacties

OneHOI: Unifying Human-Object Interaction Generation and Editing

April 15, 2026

Auteurs: Jiun Tian Hoe, Weipeng Hu, Xudong Jiang, Yap-Peng Tan, Chee Seng Chan

cs.AI

Samenvatting

Human-Object Interaction (HOI) modellering beschrijft hoe mensen handelingen verrichten op en zich verhouden tot objecten, doorgaans uitgedrukt als <persoon, actie, object> tripletten. Bestaande benaderingen splitsen op in twee gescheiden families: HOI-generatie synthetiseert scènes vanuit gestructureerde tripletten en lay-outs, maar slaagt er niet in gemengde condities zoals HOI- en object-gerelateerde entiteiten te integreren; en HOI-bewerking past interacties aan via tekst, maar worstelt met het ontkoppelen van pose van fysiek contact en het schalen naar meerdere interacties. Wij introduceren OneHOI, een uniform diffusion transformer raamwerk dat HOI-generatie en -bewerking consolideert in een enkel conditioneel denoisingsproces, aangedreven door gedeelde gestructureerde interactierepresentaties. De kern wordt gevormd door de Relationele Diffusion Transformer (R-DiT), die werkwoord-gemedieerde relaties modelleert via rol- en instantie-bewuste HOI-tokens, lay-out-gebaseerde ruimtelijke Actie-Gronding (Action Grounding), een Gestructureerde HOI-Aandacht (Structured HOI Attention) om de interactietopologie af te dwingen, en HOI RoPE om multi-HOI-scènes te ontwarren. Gezamenlijk getraind met modality dropout op onze HOI-Edit-44K, samen met HOI- en object-gerichte datasets, ondersteunt OneHOI lay-out-geleide, lay-out-vrije, willekeurig-masker- en gemengde-condition-controle, en behaalt state-of-the-art resultaten voor zowel HOI-generatie als -bewerking. Code is beschikbaar op https://jiuntian.github.io/OneHOI/.

English

Human-Object Interaction (HOI) modelling captures how humans act upon and relate to objects, typically expressed as <person, action, object> triplets. Existing approaches split into two disjoint families: HOI generation synthesises scenes from structured triplets and layout, but fails to integrate mixed conditions like HOI and object-only entities; and HOI editing modifies interactions via text, yet struggles to decouple pose from physical contact and scale to multiple interactions. We introduce OneHOI, a unified diffusion transformer framework that consolidates HOI generation and editing into a single conditional denoising process driven by shared structured interaction representations. At its core, the Relational Diffusion Transformer (R-DiT) models verb-mediated relations through role- and instance-aware HOI tokens, layout-based spatial Action Grounding, a Structured HOI Attention to enforce interaction topology, and HOI RoPE to disentangle multi-HOI scenes. Trained jointly with modality dropout on our HOI-Edit-44K, along with HOI and object-centric datasets, OneHOI supports layout-guided, layout-free, arbitrary-mask, and mixed-condition control, achieving state-of-the-art results across both HOI generation and editing. Code is available at https://jiuntian.github.io/OneHOI/.