Aprendizagem de Interação Humano-Objeto para Estimativa de Pose Humana 3D a partir de Nuvens de Pontos LiDAR

Learning Human-Object Interaction for 3D Human Pose Estimation from LiDAR Point Clouds

March 17, 2026

Autores: Daniel Sungho Jung, Dohee Cho, Kyoung Mu Lee

cs.AI

Resumo

A compreensão de seres humanos a partir de nuvens de pontos LiDAR é uma das tarefas mais críticas na condução autónoma devido à sua estreita relação com a segurança dos peões, mas continua a ser um desafio na presença de diversas interações humano-objeto e fundos desordenados. No entanto, os métodos existentes ignoram largamente o potencial de aproveitar as interações humano-objeto para construir estruturas robustas de estimativa de pose humana 3D. Existem dois grandes desafios que motivam a incorporação da interação humano-objeto. Primeiro, as interações humano-objeto introduzem ambiguidade espacial entre os pontos humanos e os pontos do objeto, o que frequentemente leva a previsões erróneas de pontos-chave humanos 3D nas regiões de interação. Segundo, existe um grave desequilíbrio de classes no número de pontos entre partes do corpo em interação e não interação, sendo as regiões de interação frequente, como mãos e pés, esparsamente observadas nos dados LiDAR. Para enfrentar estes desafios, propomos uma estrutura de Aprendizagem de Interação Humano-Objeto (HOIL) para uma estimativa robusta da pose humana 3D a partir de nuvens de pontos LiDAR. Para mitigar o problema da ambiguidade espacial, apresentamos uma aprendizagem contrastiva consciente da interação humano-objeto (HOICL) que melhora eficazmente a discriminação de características entre pontos humanos e do objeto, particularmente nas regiões de interação. Para aliviar o problema do desequilíbrio de classes, introduzimos um *pooling* guiado por partes e consciente do contacto (CPPool) que realoca adaptativamente a capacidade representacional, comprimindo pontos sobrerrepresentados enquanto preserva pontos informativos das partes do corpo em interação. Adicionalmente, apresentamos um refinamento temporal opcional baseado em contacto que refina estimativas erróneas de pontos-chave por *frame* usando pistas de contacto ao longo do tempo. Como resultado, a nossa HOIL aproveita eficazmente a interação humano-objeto para resolver a ambiguidade espacial e o desequilíbrio de classes nas regiões de interação. Os códigos serão disponibilizados.

English

Understanding humans from LiDAR point clouds is one of the most critical tasks in autonomous driving due to its close relationships with pedestrian safety, yet it remains challenging in the presence of diverse human-object interactions and cluttered backgrounds. Nevertheless, existing methods largely overlook the potential of leveraging human-object interactions to build robust 3D human pose estimation frameworks. There are two major challenges that motivate the incorporation of human-object interaction. First, human-object interactions introduce spatial ambiguity between human and object points, which often leads to erroneous 3D human keypoint predictions in interaction regions. Second, there exists severe class imbalance in the number of points between interacting and non-interacting body parts, with the interaction-frequent regions such as hand and foot being sparsely observed in LiDAR data. To address these challenges, we propose a Human-Object Interaction Learning (HOIL) framework for robust 3D human pose estimation from LiDAR point clouds. To mitigate the spatial ambiguity issue, we present human-object interaction-aware contrastive learning (HOICL) that effectively enhances feature discrimination between human and object points, particularly in interaction regions. To alleviate the class imbalance issue, we introduce contact-aware part-guided pooling (CPPool) that adaptively reallocates representational capacity by compressing overrepresented points while preserving informative points from interacting body parts. In addition, we present an optional contact-based temporal refinement that refines erroneous per-frame keypoint estimates using contact cues over time. As a result, our HOIL effectively leverages human-object interaction to resolve spatial ambiguity and class imbalance in interaction regions. Codes will be released.