Apprentissage de l'estimation dense des contacts manuels à partir de données déséquilibrées

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

papers.authors: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

papers.abstract

Les mains sont essentielles à l'interaction humaine, et comprendre les contacts entre les mains et le monde peut favoriser une compréhension approfondie de leur fonction. Récemment, on observe une augmentation du nombre de jeux de données sur les interactions manuelles, couvrant les interactions avec des objets, d'autres mains, des scènes et le corps. Malgré l'importance de cette tâche et la disponibilité croissante de données de haute qualité, la manière d'apprendre efficacement l'estimation dense des contacts manuels reste largement inexplorée. Deux défis majeurs se posent pour l'apprentissage de l'estimation dense des contacts manuels. Premièrement, il existe un problème de déséquilibre de classe dans les jeux de données sur les contacts manuels, où la majorité des échantillons ne sont pas en contact. Deuxièmement, ces jeux de données présentent un déséquilibre spatial, la plupart des contacts se situant au niveau des extrémités des doigts, ce qui pose des défis pour la généralisation des contacts dans d'autres régions de la main. Pour résoudre ces problèmes, nous proposons un cadre d'apprentissage pour l'estimation dense des contacts manuels (HACO) à partir de données déséquilibrées. Pour atténuer le déséquilibre de classe, nous introduisons un échantillonnage équilibré des contacts, qui construit et échantillonne à partir de plusieurs groupes représentant équitablement les statistiques de contact pour les échantillons avec et sans contact. De plus, pour traiter le déséquilibre spatial, nous proposons une perte équilibrée au niveau des sommets (VCB), qui intègre la distribution spatiale des contacts en pondérant séparément la contribution de la perte de chaque sommet en fonction de sa fréquence de contact dans le jeu de données. En conséquence, nous apprenons efficacement à prédire l'estimation dense des contacts manuels à partir de données à grande échelle, sans souffrir des problèmes de déséquilibre de classe et spatial. Les codes seront rendus publics.

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.