OneHOI : Unification de la génération et de l'édition d'interactions humain-objet
OneHOI: Unifying Human-Object Interaction Generation and Editing
April 15, 2026
Auteurs: Jiun Tian Hoe, Weipeng Hu, Xudong Jiang, Yap-Peng Tan, Chee Seng Chan
cs.AI
Résumé
La modélisation des interactions humain-objet (HOI) capture la manière dont les humains agissent sur les objets et interagissent avec eux, généralement exprimée par des triplets <personne, action, objet>. Les approches existantes se divisent en deux familles disjointes : la génération HOI synthétise des scènes à partir de triplets structurés et de mises en page, mais échoue à intégrer des conditions mixtes comme des entités HOI et des entités purement objets ; et l'édition HOI modifie les interactions via du texte, mais peine à découpler la pose du contact physique et à passer à l'échelle pour de multiples interactions. Nous présentons OneHOI, un framework unifié basé sur un transformeur de diffusion qui consolide la génération et l'édition HOI en un seul processus de débruitage conditionnel piloté par des représentations structurées partagées des interactions. Au cœur du système, le Relational Diffusion Transformer (R-DiT) modélise les relations médiées par les verbes via des tokens HOI conscients des rôles et des instances, un Ancrage Spatial de l'Action basé sur la mise en page, une Attention HOI Structurée pour imposer la topologie d'interaction, et HOI RoPE pour désentremêler les scènes multi-HOI. Entraîné conjointement avec un abandon de modalité sur notre jeu de données HOI-Edit-44K, ainsi que sur des ensembles de données centrés sur les HOI et les objets, OneHOI prend en charge le contrôle guidé par mise en page, libre de mise en page, par masque arbitraire et à conditions mixtes, obtenant des résultats state-of-the-art à la fois en génération et en édition HOI. Le code est disponible à l'adresse https://jiuntian.github.io/OneHOI/.
English
Human-Object Interaction (HOI) modelling captures how humans act upon and relate to objects, typically expressed as <person, action, object> triplets. Existing approaches split into two disjoint families: HOI generation synthesises scenes from structured triplets and layout, but fails to integrate mixed conditions like HOI and object-only entities; and HOI editing modifies interactions via text, yet struggles to decouple pose from physical contact and scale to multiple interactions. We introduce OneHOI, a unified diffusion transformer framework that consolidates HOI generation and editing into a single conditional denoising process driven by shared structured interaction representations. At its core, the Relational Diffusion Transformer (R-DiT) models verb-mediated relations through role- and instance-aware HOI tokens, layout-based spatial Action Grounding, a Structured HOI Attention to enforce interaction topology, and HOI RoPE to disentangle multi-HOI scenes. Trained jointly with modality dropout on our HOI-Edit-44K, along with HOI and object-centric datasets, OneHOI supports layout-guided, layout-free, arbitrary-mask, and mixed-condition control, achieving state-of-the-art results across both HOI generation and editing. Code is available at https://jiuntian.github.io/OneHOI/.