不均衡なデータからの高密度な手の接触推定の学習

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

著者: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

要旨

手は人間の相互作用において不可欠であり、手と世界との接触を理解することは、その機能を包括的に理解することを促進します。最近では、物体、他の手、シーン、身体との相互作用をカバーする手の相互作用データセットが増えつつあります。このタスクの重要性と高品質なデータの増加にもかかわらず、密な手の接触推定を効果的に学習する方法はまだ十分に探求されていません。密な手の接触推定を学習するための2つの主要な課題があります。第一に、手の接触データセットにはクラス不均衡の問題が存在し、大多数のサンプルが接触していない状態です。第二に、手の接触データセットには空間的不均衡の問題があり、ほとんどの手の接触が指先に集中しているため、他の手の領域での接触に対する一般化が困難です。これらの問題に対処するため、不均衡なデータから密な手の接触推定（HACO）を学習するフレームワークを提案します。クラス不均衡の問題を解決するために、バランスの取れた接触サンプリングを導入し、接触と非接触のサンプルを公平に代表する複数のサンプリンググループを構築し、そこからサンプリングします。さらに、空間的不均衡の問題に対処するために、頂点レベルのクラスバランス（VCB）損失を提案します。これは、データセット全体での各頂点の接触頻度に基づいて、各頂点の損失寄与を個別に再重み付けすることで、空間的に変化する接触分布を組み込みます。その結果、クラスと空間的不均衡の問題に悩まされることなく、大規模な手の接触データを用いて密な手の接触推定を効果的に学習することができます。コードは公開されます。

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.