불균형 데이터로부터 조밀한 손 접촉 추정 학습

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

저자: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

초록

손은 인간 상호작용에 필수적이며, 손과 세계 간의 접촉을 이해하는 것은 그 기능에 대한 포괄적인 이해를 촉진할 수 있습니다. 최근에는 물체, 다른 손, 장면, 신체와의 상호작용을 다루는 손 상호작용 데이터셋이 점점 더 많이 등장하고 있습니다. 이러한 작업의 중요성과 고품질 데이터의 증가에도 불구하고, 조밀한 손 접촉 추정을 효과적으로 학습하는 방법은 여전히 크게 탐구되지 않고 있습니다. 조밀한 손 접촉 추정을 학습하는 데는 두 가지 주요 과제가 있습니다. 첫째, 손 접촉 데이터셋에는 대부분의 샘플이 접촉하지 않는 클래스 불균형 문제가 존재합니다. 둘째, 손 접촉 데이터셋에는 대부분의 접촉이 손가락 끝에서 나타나는 공간적 불균형 문제가 있어, 다른 손 부위의 접촉에 대한 일반화가 어렵습니다. 이러한 문제를 해결하기 위해, 우리는 불균형 데이터에서 조밀한 손 접촉 추정(HACO)을 학습하는 프레임워크를 제시합니다. 클래스 불균형 문제를 해결하기 위해, 우리는 균형 잡힌 접촉 샘플링을 도입했습니다. 이 방법은 접촉 및 비접촉 샘플 모두에 대해 다양한 접촉 통계를 공정하게 대표하는 여러 샘플링 그룹을 구축하고 샘플링합니다. 또한, 공간적 불균형 문제를 해결하기 위해, 우리는 정점 수준의 클래스 균형(VCB) 손실을 제안합니다. 이 손실은 데이터셋 전체에서 각 정점의 접촉 빈도에 기반하여 각 정점의 손실 기여도를 별도로 재조정함으로써 공간적으로 변화하는 접촉 분포를 통합합니다. 결과적으로, 우리는 클래스 및 공간적 불균형 문제 없이 대규모 손 접촉 데이터를 사용하여 조밀한 손 접촉 추정을 효과적으로 학습할 수 있습니다. 코드는 공개될 예정입니다.

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.