F-HOI: Auf dem Weg zu feinkörnigen, semantisch ausgerichteten 3D-Mensch-Objekt-Interaktionen

F-HOI: Toward Fine-grained Semantic-Aligned 3D Human-Object Interactions

July 17, 2024

Autoren: Jie Yang, Xuesong Niu, Nan Jiang, Ruimao Zhang, Siyuan Huang

cs.AI

Zusammenfassung

Bestehende 3D-Datensätze und Modelle zur Interaktion von menschlichen Objekten (HOI) gleichen einfach globale Beschreibungen mit der langen HOI-Sequenz ab, ohne ein detailliertes Verständnis der Zwischenzustände und der Übergänge zwischen den Zuständen zu haben. In diesem Paper argumentieren wir, dass eine feinkörnige semantische Ausrichtung, die Zustandsbeschreibungen auf Zustandsebene nutzt, ein vielversprechendes Paradigma für das Erlernen semantisch reicher HOI-Repräsentationen bietet. Um dies zu erreichen, stellen wir Semantic-HOI vor, einen neuen Datensatz, der über 20K gepaarte HOI-Zustände mit feinkörnigen Beschreibungen für jeden HOI-Zustand und den Körperbewegungen, die zwischen zwei aufeinanderfolgenden Zuständen stattfinden, umfasst. Unter Nutzung des vorgeschlagenen Datensatzes entwerfen wir drei Zustands-HOI-Aufgaben, um eine feinkörnige semantische Ausrichtung innerhalb der HOI-Sequenz zu erreichen. Darüber hinaus schlagen wir ein vereinheitlichtes Modell namens F-HOI vor, das darauf ausgelegt ist, multimodale Anweisungen zu nutzen und dem Multi-modalen Large Language Model zu ermöglichen, vielfältige HOI-Aufgaben effizient zu bewältigen. F-HOI bietet mehrere Vorteile: (1) Es verwendet eine vereinheitlichte Aufgabenformulierung, die die Verwendung vielseitiger multimodaler Eingaben unterstützt. (2) Es gewährleistet Konsistenz in HOI über 2D-, 3D- und sprachliche Räume hinweg. (3) Es nutzt feinkörnige textuelle Überwachung für eine direkte Optimierung und vermeidet eine komplexe Modellierung von HOI-Zuständen. Umfangreiche Experimente zeigen, dass F-HOI HOI-Zustände effektiv mit feinkörnigen semantischen Beschreibungen abgleicht und geschickt Aufgaben des Verstehens, Schlussfolgerns, Generierens und Rekonstruierens bewältigt.

English

Existing 3D human object interaction (HOI) datasets and models simply align global descriptions with the long HOI sequence, while lacking a detailed understanding of intermediate states and the transitions between states. In this paper, we argue that fine-grained semantic alignment, which utilizes state-level descriptions, offers a promising paradigm for learning semantically rich HOI representations. To achieve this, we introduce Semantic-HOI, a new dataset comprising over 20K paired HOI states with fine-grained descriptions for each HOI state and the body movements that happen between two consecutive states. Leveraging the proposed dataset, we design three state-level HOI tasks to accomplish fine-grained semantic alignment within the HOI sequence. Additionally, we propose a unified model called F-HOI, designed to leverage multimodal instructions and empower the Multi-modal Large Language Model to efficiently handle diverse HOI tasks. F-HOI offers multiple advantages: (1) It employs a unified task formulation that supports the use of versatile multimodal inputs. (2) It maintains consistency in HOI across 2D, 3D, and linguistic spaces. (3) It utilizes fine-grained textual supervision for direct optimization, avoiding intricate modeling of HOI states. Extensive experiments reveal that F-HOI effectively aligns HOI states with fine-grained semantic descriptions, adeptly tackling understanding, reasoning, generation, and reconstruction tasks.