LiDAR点群からの3D人間姿勢推定のための人間-物体相互作用の学習

Learning Human-Object Interaction for 3D Human Pose Estimation from LiDAR Point Clouds

March 17, 2026

著者: Daniel Sungho Jung, Dohee Cho, Kyoung Mu Lee

cs.AI

要旨

LiDAR点群からの人間理解は、歩行者安全と密接に関連するため自動運転における最重要課題の一つであるが、多様な人物-物体相互作用や複雑な背景が存在する場合には依然として困難な課題である。しかしながら、既存手法は、頑健な3次元人体姿勢推定フレームワーク構築のための人物-物体相互作用の活用可能性を大きく見過ごしている。人物-物体相互作用の統合を動機づける主要な課題が二つ存在する。第一に、人物-物体相互作用は人物点と物体点の間の空間的曖昧性を導入し、相互作用領域での3次元人体キーポイント予測の誤りを引き起こしやすい。第二に、相互作用する身体部位と非相互作用部位間の点数の著しいクラス不均衡が存在し、手や足などの相互作用頻度の高い領域はLiDARデータで疎に観測される。これらの課題に対処するため、本論文はLiDAR点群からの頑健な3次元人体姿勢推定のための人物-物体相互作用学習（HOIL）フレームワークを提案する。空間的曖昧性問題を緩和するため、人物-物体相互作用認識対照学習（HOICL）を提案し、特に相互作用領域における人物点と物体点の特徴識別性を効果的に強化する。クラス不均衡問題を軽減するため、接触認識部位誘導プーリング（CPPool）を導入し、過剰に表現された点を圧縮しつつ相互作用身体部位の情報豊富な点を保持することで表現能力を適応的に再配分する。さらに、接触情報に基づく時間的リファインメントをオプションで提案し、フレーム単位の誤ったキーポイント推定値を時間経過に伴う接触手がかりを用いて修正する。その結果、提案するHOILは人物-物体相互作用を効果的に活用し、相互作用領域の空間的曖昧性とクラス不均衡を解決する。コードは公開予定である。

English

Understanding humans from LiDAR point clouds is one of the most critical tasks in autonomous driving due to its close relationships with pedestrian safety, yet it remains challenging in the presence of diverse human-object interactions and cluttered backgrounds. Nevertheless, existing methods largely overlook the potential of leveraging human-object interactions to build robust 3D human pose estimation frameworks. There are two major challenges that motivate the incorporation of human-object interaction. First, human-object interactions introduce spatial ambiguity between human and object points, which often leads to erroneous 3D human keypoint predictions in interaction regions. Second, there exists severe class imbalance in the number of points between interacting and non-interacting body parts, with the interaction-frequent regions such as hand and foot being sparsely observed in LiDAR data. To address these challenges, we propose a Human-Object Interaction Learning (HOIL) framework for robust 3D human pose estimation from LiDAR point clouds. To mitigate the spatial ambiguity issue, we present human-object interaction-aware contrastive learning (HOICL) that effectively enhances feature discrimination between human and object points, particularly in interaction regions. To alleviate the class imbalance issue, we introduce contact-aware part-guided pooling (CPPool) that adaptively reallocates representational capacity by compressing overrepresented points while preserving informative points from interacting body parts. In addition, we present an optional contact-based temporal refinement that refines erroneous per-frame keypoint estimates using contact cues over time. As a result, our HOIL effectively leverages human-object interaction to resolve spatial ambiguity and class imbalance in interaction regions. Codes will be released.