Het leren van dichte handcontactschatting uit onevenwichtige gegevens

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

Auteurs: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Samenvatting

Handen zijn essentieel voor menselijke interactie, en het begrijpen van contact tussen handen en de wereld kan een uitgebreid begrip van hun functie bevorderen. Recentelijk is er een groeiend aantal datasets voor handinteractie beschikbaar gekomen die interactie met objecten, andere handen, scènes en het lichaam omvatten. Ondanks het belang van deze taak en de toenemende beschikbaarheid van hoogwaardige data, blijft de vraag hoe men effectief dichte handcontactschatting kan leren grotendeels onontgonnen. Er zijn twee grote uitdagingen bij het leren van dichte handcontactschatting. Ten eerste is er een klasse-onbalansprobleem in handcontactdatasets, waarbij de meerderheid van de samples geen contact vertoont. Ten tweede bevatten handcontactdatasets een ruimtelijk onbalansprobleem, waarbij het meeste handcontact zich voordoet bij de vingertoppen, wat uitdagingen oplevert voor generalisatie naar contact in andere handregio's. Om deze problemen aan te pakken, presenteren we een raamwerk dat dichte HAnd COntact-schatting (HACO) leert uit onbalansdata. Om het klasse-onbalansprobleem op te lossen, introduceren we gebalanceerde contactsteekproeven, waarbij meerdere steekproefgroepen worden opgebouwd en bemonsterd die diverse contactstatistieken eerlijk vertegenwoordigen voor zowel contact- als niet-contactmonsters. Bovendien stellen we, om het ruimtelijke onbalansprobleem aan te pakken, een vertex-level klasse-gebalanceerd (VCB) verlies voor, dat ruimtelijk variërende contactverdeling incorporeert door het verliesbijdrage van elke vertex afzonderlijk te herwegen op basis van zijn contactfrequentie in de dataset. Als resultaat leren we effectief dichte handcontactschatting te voorspellen met grootschalige handcontactdata zonder te lijden onder klasse- en ruimtelijke onbalansproblemen. De codes zullen worden vrijgegeven.

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.