F-HOI : Vers des interactions 3D homme-objet à sémantique fine alignée

F-HOI: Toward Fine-grained Semantic-Aligned 3D Human-Object Interactions

July 17, 2024

Auteurs: Jie Yang, Xuesong Niu, Nan Jiang, Ruimao Zhang, Siyuan Huang

cs.AI

Résumé

Les ensembles de données et modèles existants pour l'interaction humain-objet (HOI) en 3D se contentent d'aligner des descriptions globales avec la longue séquence HOI, tout en manquant une compréhension détaillée des états intermédiaires et des transitions entre ces états. Dans cet article, nous soutenons que l'alignement sémantique granulaire, qui utilise des descriptions au niveau des états, offre un paradigme prometteur pour l'apprentissage de représentations HOI sémantiquement riches. Pour y parvenir, nous introduisons Semantic-HOI, un nouvel ensemble de données comprenant plus de 20 000 paires d'états HOI avec des descriptions granulaires pour chaque état HOI et les mouvements corporels qui se produisent entre deux états consécutifs. En exploitant cet ensemble de données proposé, nous concevons trois tâches HOI au niveau des états pour réaliser un alignement sémantique granulaire au sein de la séquence HOI. De plus, nous proposons un modèle unifié appelé F-HOI, conçu pour tirer parti d'instructions multimodales et permettre au Modèle de Langage Multimodal de grande taille de gérer efficacement diverses tâches HOI. F-HOI offre plusieurs avantages : (1) Il utilise une formulation de tâche unifiée qui prend en charge l'utilisation d'entrées multimodales polyvalentes. (2) Il maintient la cohérence de l'HOI dans les espaces 2D, 3D et linguistiques. (3) Il exploite une supervision textuelle granulaire pour une optimisation directe, évitant une modélisation complexe des états HOI. Des expériences approfondies révèlent que F-HOI aligne efficacement les états HOI avec des descriptions sémantiques granulaires, abordant avec succès les tâches de compréhension, de raisonnement, de génération et de reconstruction.

English

Existing 3D human object interaction (HOI) datasets and models simply align global descriptions with the long HOI sequence, while lacking a detailed understanding of intermediate states and the transitions between states. In this paper, we argue that fine-grained semantic alignment, which utilizes state-level descriptions, offers a promising paradigm for learning semantically rich HOI representations. To achieve this, we introduce Semantic-HOI, a new dataset comprising over 20K paired HOI states with fine-grained descriptions for each HOI state and the body movements that happen between two consecutive states. Leveraging the proposed dataset, we design three state-level HOI tasks to accomplish fine-grained semantic alignment within the HOI sequence. Additionally, we propose a unified model called F-HOI, designed to leverage multimodal instructions and empower the Multi-modal Large Language Model to efficiently handle diverse HOI tasks. F-HOI offers multiple advantages: (1) It employs a unified task formulation that supports the use of versatile multimodal inputs. (2) It maintains consistency in HOI across 2D, 3D, and linguistic spaces. (3) It utilizes fine-grained textual supervision for direct optimization, avoiding intricate modeling of HOI states. Extensive experiments reveal that F-HOI effectively aligns HOI states with fine-grained semantic descriptions, adeptly tackling understanding, reasoning, generation, and reconstruction tasks.