손 가시성 감지기: 손을 위한 키포인트별 가시성 추정

초록

손 자세 추정(HPE)은 AR/VR 및 로봇 공학 등 다양한 응용 분야를 위한 기반 기술이다. 이러한 응용 분야에서는 폐색 상황에서 추정 결과의 신뢰성을 평가하는 데 이미지 내 각 손 관절의 가시성이 중요하다. 그러나 대부분의 기존 HPE 방법은 관절 위치를 출력할 뿐 해당 관절의 가시성을 명시적으로 나타내지 않는다. 일부 방법은 폐색이나 가시성을 고려하지만, 가시성 추정은 주로 자세 추정 성능을 향상시키기 위한 보조 신호로 사용되어 왔다. 우리가 아는 한, 관절별 손 가시성 추정은 독립적인 작업으로서 체계적으로 연구된 바 없다. 이에 본 연구에서는 개별 손 관절의 가시성을 추정하는 모델인 Hand Visibility Detector를 제안하고, 가시성 추정을 독립적인 작업으로 다루는 최초의 체계적 연구를 제시한다. 대규모 데이터로 사전 학습된 HPE 모델의 사전 지식을 백본으로 활용하면 이 작업에서 높은 성능을 얻을 수 있음을 보인다. 또한 2D 키포인트의 다중 시점 삼각 측량을 통한 3D 손 자세 주석이라는 다운스트림 작업에서 Hand Visibility Detector의 유용성을 입증하며, 가시성 가중 삼각 측량이 재투영 오차를 줄인다는 것을 보여준다. 제안 방법은 바로 사용 가능한 패키지로 공개되며, 코드와 데모는 https://github.com/ryhara/hand_visibility_detector 에서 확인할 수 있다.

English

Hand Pose Estimation (HPE) is a fundamental technology for various applications such as AR/VR and robotics. In these applications, the visibility of each hand joint in the image is crucial for assessing the reliability of estimation results under occlusion. However, most existing HPE methods output joint positions without explicitly indicating their visibility. Although some methods account for occlusion or visibility, visibility estimation has mainly been used as an auxiliary signal for improving pose estimation. To our knowledge, per-joint hand visibility estimation has not been systematically studied as a standalone task. In this work, we propose Hand Visibility Detector, a model for estimating the visibility of individual hand joints, and present the first systematic investigation of visibility estimation as an independent task. We show that leveraging the prior knowledge of HPE models pretrained on large-scale data as a backbone yields high performance in this task. We further demonstrate the utility of Hand Visibility Detector on a downstream task of 3D hand pose annotation via multi-view triangulation of 2D keypoints, showing that visibility-weighted triangulation reduces reprojection error. Our method is released as a ready-to-use package, and the code and demo are available at https://github.com/ryhara/hand_visibility_detector .