Apprendimento dell'Interazione Umano-Oggetto per la Stima della Postura Umana 3D da Nuvole di Punti LiDAR
Learning Human-Object Interaction for 3D Human Pose Estimation from LiDAR Point Clouds
March 17, 2026
Autori: Daniel Sungho Jung, Dohee Cho, Kyoung Mu Lee
cs.AI
Abstract
La comprensione degli esseri umani a partire dalle nuvole di punti LiDAR rappresenta uno dei compiti più critici nella guida autonoma, data la sua stretta correlazione con la sicurezza dei pedoni, ma rimane impegnativa in presenza di diverse interazioni uomo-oggetto e contesti affollati. Tuttavia, i metodi esistenti trascurano ampiamente il potenziale di sfruttare le interazioni uomo-oggetto per costruire framework robusti di stima della posa umana 3D. Due sfide principali motivano l'incorporazione dell'interazione uomo-oggetto. In primo luogo, tali interazioni introducono ambiguità spaziale tra i punti umani e quelli degli oggetti, che spesso porta a previsioni errate dei punti chiave umani 3D nelle regioni di interazione. In secondo luogo, esiste uno squilibrio severo nella distribuzione delle classi per numero di punti tra le parti del corpo che interagiscono e quelle che non interagiscono, con le regioni ad alta frequenza d'interazione come mani e piedi osservate in modo sparso nei dati LiDAR. Per affrontare queste sfide, proponiamo un framework di Apprendimento dell'Interazione Uomo-Oggetto (HOIL) per una stima robusta della posa umana 3D da nuvole di punti LiDAR. Per mitigare il problema dell'ambiguità spaziale, presentiamo un apprendimento contrastivo consapevole dell'interazione uomo-oggetto (HOICL) che migliora efficacemente la discriminazione delle feature tra punti umani e oggetti, specialmente nelle regioni di interazione. Per alleviare il problema dello squilibrio tra classi, introduciamo un pooling guidato dalle parti e consapevole del contatto (CPPool) che riallocata adattivamente la capacità rappresentativa comprimendo i punti sovrarappresentati preservando al contempo i punti informativi dalle parti del corpo interagenti. Inoltre, presentiamo un raffinamento temporale opzionale basato sul contatto che migliora le stime errate dei punti chiave per fotogramma utilizzando indizi di contatto nel tempo. Di conseguenza, il nostro HOIL sfrutta efficacemente l'interazione uomo-oggetto per risolvere l'ambiguità spaziale e lo squilibrio tra classi nelle regioni di interazione. I codici saranno rilasciati.
English
Understanding humans from LiDAR point clouds is one of the most critical tasks in autonomous driving due to its close relationships with pedestrian safety, yet it remains challenging in the presence of diverse human-object interactions and cluttered backgrounds. Nevertheless, existing methods largely overlook the potential of leveraging human-object interactions to build robust 3D human pose estimation frameworks. There are two major challenges that motivate the incorporation of human-object interaction. First, human-object interactions introduce spatial ambiguity between human and object points, which often leads to erroneous 3D human keypoint predictions in interaction regions. Second, there exists severe class imbalance in the number of points between interacting and non-interacting body parts, with the interaction-frequent regions such as hand and foot being sparsely observed in LiDAR data. To address these challenges, we propose a Human-Object Interaction Learning (HOIL) framework for robust 3D human pose estimation from LiDAR point clouds. To mitigate the spatial ambiguity issue, we present human-object interaction-aware contrastive learning (HOICL) that effectively enhances feature discrimination between human and object points, particularly in interaction regions. To alleviate the class imbalance issue, we introduce contact-aware part-guided pooling (CPPool) that adaptively reallocates representational capacity by compressing overrepresented points while preserving informative points from interacting body parts. In addition, we present an optional contact-based temporal refinement that refines erroneous per-frame keypoint estimates using contact cues over time. As a result, our HOIL effectively leverages human-object interaction to resolve spatial ambiguity and class imbalance in interaction regions. Codes will be released.