Aprendizaje de la Interacción Humano-Objeto para la Estimación de Poses Humanas en 3D a partir de Nubes de Puntos LiDAR

Learning Human-Object Interaction for 3D Human Pose Estimation from LiDAR Point Clouds

March 17, 2026

Autores: Daniel Sungho Jung, Dohee Cho, Kyoung Mu Lee

cs.AI

Resumen

La comprensión de seres humanos a partir de nubes de puntos LiDAR es una de las tareas más críticas en la conducción autónoma debido a su estrecha relación con la seguridad peatonal, aunque sigue siendo un desafío ante la presencia de diversas interacciones humano-objeto y fondos desordenados. Sin embargo, los métodos existentes ignoran en gran medida el potencial de aprovechar las interacciones humano-objeto para construir marcos robustos de estimación de posturas humanas en 3D. Dos desafíos principales motivan la incorporación de la interacción humano-objeto. Primero, estas interacciones introducen ambigüedad espacial entre puntos humanos y de objetos, lo que frecuentemente genera predicciones erróneas de puntos clave humanos 3D en regiones de interacción. Segundo, existe un severo desequilibrio de clases en la cantidad de puntos entre partes corporales que interactúan y las que no, observándose regiones de interacción frecuente como manos y pies de forma esparcida en datos LiDAR. Para abordar estos desafíos, proponemos un marco de Aprendizaje de Interacción Humano-Objeto (HOIL) para una estimación robusta de posturas humanas 3D a partir de nubes de puntos LiDAR. Para mitigar la ambigüedad espacial, presentamos un aprendizaje contrastivo consciente de la interacción humano-objeto (HOICL) que mejora efectivamente la discriminación de características entre puntos humanos y de objetos, particularmente en regiones de interacción. Para aliviar el desequilibrio de clases, introducimos un agrupamiento guiado por partes y consciente del contacto (CPPool) que reasigna adaptativamente la capacidad representativa comprimiendo puntos sobrerrepresentados mientras preserva puntos informativos de partes corporales en interacción. Adicionalmente, presentamos una refinación temporal opcional basada en contacto que perfecha estimaciones erróneas de puntos clave por fotograma utilizando señales de contacto a lo largo del tiempo. Como resultado, nuestro HOIL aprovecha efectivamente la interacción humano-objeto para resolver la ambigüedad espacial y el desequilibrio de clases en regiones de interacción. Los códigos serán liberados.

English

Understanding humans from LiDAR point clouds is one of the most critical tasks in autonomous driving due to its close relationships with pedestrian safety, yet it remains challenging in the presence of diverse human-object interactions and cluttered backgrounds. Nevertheless, existing methods largely overlook the potential of leveraging human-object interactions to build robust 3D human pose estimation frameworks. There are two major challenges that motivate the incorporation of human-object interaction. First, human-object interactions introduce spatial ambiguity between human and object points, which often leads to erroneous 3D human keypoint predictions in interaction regions. Second, there exists severe class imbalance in the number of points between interacting and non-interacting body parts, with the interaction-frequent regions such as hand and foot being sparsely observed in LiDAR data. To address these challenges, we propose a Human-Object Interaction Learning (HOIL) framework for robust 3D human pose estimation from LiDAR point clouds. To mitigate the spatial ambiguity issue, we present human-object interaction-aware contrastive learning (HOICL) that effectively enhances feature discrimination between human and object points, particularly in interaction regions. To alleviate the class imbalance issue, we introduce contact-aware part-guided pooling (CPPool) that adaptively reallocates representational capacity by compressing overrepresented points while preserving informative points from interacting body parts. In addition, we present an optional contact-based temporal refinement that refines erroneous per-frame keypoint estimates using contact cues over time. As a result, our HOIL effectively leverages human-object interaction to resolve spatial ambiguity and class imbalance in interaction regions. Codes will be released.