Изучение взаимодействия человека и объекта для оценки трехмерной позы человека по лидарным облакам точек

Learning Human-Object Interaction for 3D Human Pose Estimation from LiDAR Point Clouds

March 17, 2026

Авторы: Daniel Sungho Jung, Dohee Cho, Kyoung Mu Lee

cs.AI

Аннотация

Понимание человека по лидарным облакам точек является одной из наиболее важных задач в автономном вождении из-за ее тесной связи с безопасностью пешеходов, однако она остается сложной в условиях разнообразных взаимодействий человек-объект и загроможденного фона. Тем не менее, существующие методы в значительной степени упускают потенциал использования взаимодействий человек-объект для построения надежных систем оценки 3D позы человека. Существуют две основные проблемы, которые мотивируют включение взаимодействия человек-объект. Во-первых, взаимодействия человек-объект вносят пространственную неоднозначность между точками человека и объекта, что часто приводит к ошибочным прогнозам 3D ключевых точек человека в областях взаимодействия. Во-вторых, существует серьезный дисбаланс классов в количестве точек между взаимодействующими и невзаимодействующими частями тела, причем области частого взаимодействия, такие как кисти рук и стопы, слабо наблюдаются в лидарных данных. Для решения этих проблем мы предлагаем фреймворк Human-Object Interaction Learning (HOIL) для надежной оценки 3D позы человека по лидарным облакам точек. Чтобы смягчить проблему пространственной неоднозначности, мы представляем контрастное обучение с учетом взаимодействия человек-объект (HOICL), которое эффективно усиливает различение признаков между точками человека и объекта, особенно в областях взаимодействия. Для устранения проблемы дисбаланса классов мы вводим контактно-чувствительное пулинговое объединение с учетом частей тела (CPPool), которое адаптивно перераспределяет репрезентативную емкость, сжимая избыточно представленные точки, сохраняя при этом информативные точки от взаимодействующих частей тела. Кроме того, мы представляем опциональное временное уточнение на основе контакта, которое корректирует ошибочные покадровые оценки ключевых точек, используя контактные сигналы во времени. В результате наш HOIL эффективно использует взаимодействие человек-объект для разрешения пространственной неоднозначности и дисбаланса классов в областях взаимодействия. Код будет опубликован.

English

Understanding humans from LiDAR point clouds is one of the most critical tasks in autonomous driving due to its close relationships with pedestrian safety, yet it remains challenging in the presence of diverse human-object interactions and cluttered backgrounds. Nevertheless, existing methods largely overlook the potential of leveraging human-object interactions to build robust 3D human pose estimation frameworks. There are two major challenges that motivate the incorporation of human-object interaction. First, human-object interactions introduce spatial ambiguity between human and object points, which often leads to erroneous 3D human keypoint predictions in interaction regions. Second, there exists severe class imbalance in the number of points between interacting and non-interacting body parts, with the interaction-frequent regions such as hand and foot being sparsely observed in LiDAR data. To address these challenges, we propose a Human-Object Interaction Learning (HOIL) framework for robust 3D human pose estimation from LiDAR point clouds. To mitigate the spatial ambiguity issue, we present human-object interaction-aware contrastive learning (HOICL) that effectively enhances feature discrimination between human and object points, particularly in interaction regions. To alleviate the class imbalance issue, we introduce contact-aware part-guided pooling (CPPool) that adaptively reallocates representational capacity by compressing overrepresented points while preserving informative points from interacting body parts. In addition, we present an optional contact-based temporal refinement that refines erroneous per-frame keypoint estimates using contact cues over time. As a result, our HOIL effectively leverages human-object interaction to resolve spatial ambiguity and class imbalance in interaction regions. Codes will be released.