F-HOI: Naar fijnmazige semantisch-uitgelijnde 3D mens-objectinteracties

F-HOI: Toward Fine-grained Semantic-Aligned 3D Human-Object Interactions

July 17, 2024

Auteurs: Jie Yang, Xuesong Niu, Nan Jiang, Ruimao Zhang, Siyuan Huang

cs.AI

Samenvatting

Bestaande 3D datasets en modellen voor mens-object interactie (HOI) richten zich eenvoudigweg op het uitlijnen van globale beschrijvingen met de lange HOI-sequentie, terwijl ze een gedetailleerd begrip van tussenliggende staten en de overgangen tussen staten missen. In dit artikel stellen we dat fijnmazige semantische uitlijning, waarbij beschrijvingen op staatsniveau worden gebruikt, een veelbelovend paradigma biedt voor het leren van semantisch rijke HOI-representaties. Om dit te bereiken, introduceren we Semantic-HOI, een nieuwe dataset die meer dan 20K gepaarde HOI-staten omvat met gedetailleerde beschrijvingen voor elke HOI-staat en de lichaamsbewegingen die tussen twee opeenvolgende staten plaatsvinden. Gebruikmakend van de voorgestelde dataset, ontwerpen we drie staatsniveau HOI-taken om fijnmazige semantische uitlijning binnen de HOI-sequentie te realiseren. Daarnaast stellen we een uniform model genaamd F-HOI voor, ontworpen om multimodale instructies te benutten en het Multimodale Grote Taalmodel in staat te stellen diverse HOI-taken efficiënt te verwerken. F-HOI biedt meerdere voordelen: (1) Het hanteert een uniforme taakformulering die het gebruik van veelzijdige multimodale invoer ondersteunt. (2) Het handhaaft consistentie in HOI over 2D, 3D en linguïstische ruimtes. (3) Het maakt gebruik van fijnmazige tekstuele supervisie voor directe optimalisatie, waardoor complexe modellering van HOI-staten wordt vermeden. Uitgebreide experimenten tonen aan dat F-HOI effectief HOI-staten uitlijnt met gedetailleerde semantische beschrijvingen en vaardig omgaat met taken op het gebied van begrip, redenering, generatie en reconstructie.

English

Existing 3D human object interaction (HOI) datasets and models simply align global descriptions with the long HOI sequence, while lacking a detailed understanding of intermediate states and the transitions between states. In this paper, we argue that fine-grained semantic alignment, which utilizes state-level descriptions, offers a promising paradigm for learning semantically rich HOI representations. To achieve this, we introduce Semantic-HOI, a new dataset comprising over 20K paired HOI states with fine-grained descriptions for each HOI state and the body movements that happen between two consecutive states. Leveraging the proposed dataset, we design three state-level HOI tasks to accomplish fine-grained semantic alignment within the HOI sequence. Additionally, we propose a unified model called F-HOI, designed to leverage multimodal instructions and empower the Multi-modal Large Language Model to efficiently handle diverse HOI tasks. F-HOI offers multiple advantages: (1) It employs a unified task formulation that supports the use of versatile multimodal inputs. (2) It maintains consistency in HOI across 2D, 3D, and linguistic spaces. (3) It utilizes fine-grained textual supervision for direct optimization, avoiding intricate modeling of HOI states. Extensive experiments reveal that F-HOI effectively aligns HOI states with fine-grained semantic descriptions, adeptly tackling understanding, reasoning, generation, and reconstruction tasks.