手の可視性検出器：手のキーポイントごとの可視性推定

要旨

手のポーズ推定（HPE）は、AR/VRやロボティクスなど様々なアプリケーションの基盤技術である。これらのアプリケーションでは、画像内の各手の関節の可視性が、オクルージョン下での推定結果の信頼性を評価する上で重要である。しかし、既存のHPE手法のほとんどは関節位置を出力するだけで、その可視性を明示的に示していない。一部の手法はオクルージョンや可視性を考慮するものの、可視性推定は主にポーズ推定を改善するための補助信号として用いられてきた。我々の知る限り、関節ごとの手の可視性推定は、単独タスクとして系統的に研究されていない。本研究では、個々の手の関節の可視性を推定するモデルであるHand Visibility Detectorを提案し、可視性推定を独立したタスクとして扱う初の系統的調査を示す。大規模データで事前学習されたHPEモデルの事前知識をバックボーンとして活用することで、このタスクにおいて高い性能が得られることを示す。さらに、2次元キーポイントの多視点三角測量による3次元手のポーズアノテーションという下流タスクにおけるHand Visibility Detectorの有用性を実証し、可視性重み付き三角測量が再投影誤差を低減することを示す。本手法は即時利用可能なパッケージとして公開されており、コードとデモはhttps://github.com/ryhara/hand_visibility_detector で入手できる。

English

Hand Pose Estimation (HPE) is a fundamental technology for various applications such as AR/VR and robotics. In these applications, the visibility of each hand joint in the image is crucial for assessing the reliability of estimation results under occlusion. However, most existing HPE methods output joint positions without explicitly indicating their visibility. Although some methods account for occlusion or visibility, visibility estimation has mainly been used as an auxiliary signal for improving pose estimation. To our knowledge, per-joint hand visibility estimation has not been systematically studied as a standalone task. In this work, we propose Hand Visibility Detector, a model for estimating the visibility of individual hand joints, and present the first systematic investigation of visibility estimation as an independent task. We show that leveraging the prior knowledge of HPE models pretrained on large-scale data as a backbone yields high performance in this task. We further demonstrate the utility of Hand Visibility Detector on a downstream task of 3D hand pose annotation via multi-view triangulation of 2D keypoints, showing that visibility-weighted triangulation reduces reprojection error. Our method is released as a ready-to-use package, and the code and demo are available at https://github.com/ryhara/hand_visibility_detector .