Apprendimento della Stima Densa del Contatto Manuale da Dati Sbilanciati

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

Autori: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Abstract

Le mani sono essenziali per l'interazione umana, e comprendere il contatto tra le mani e il mondo può favorire una comprensione completa della loro funzione. Recentemente, è cresciuto il numero di dataset di interazione manuale che coprono l'interazione con oggetti, altre mani, scene e il corpo. Nonostante l'importanza del compito e l'aumento di dati di alta qualità, come apprendere efficacemente la stima densa del contatto manuale rimane in gran parte inesplorato. Ci sono due principali sfide per l'apprendimento della stima densa del contatto manuale. In primo luogo, esiste un problema di squilibrio di classe nei dataset di contatto manuale, dove la maggior parte dei campioni non è in contatto. In secondo luogo, i dataset di contatto manuale presentano un problema di squilibrio spaziale, con la maggior parte dei contatti che si verificano sulle punte delle dita, risultando in difficoltà per la generalizzazione verso contatti in altre regioni della mano. Per affrontare questi problemi, presentiamo un framework che apprende la stima densa del contatto manuale (HACO) da dati squilibrati. Per risolvere il problema dello squilibrio di classe, introduciamo il campionamento bilanciato del contatto, che costruisce e campiona da più gruppi di campionamento che rappresentano equamente diverse statistiche di contatto sia per i campioni in contatto che per quelli non in contatto. Inoltre, per affrontare il problema dello squilibrio spaziale, proponiamo una perdita bilanciata a livello di vertice (VCB), che incorpora la distribuzione del contatto variabile spazialmente ricalibrando separatamente il contributo della perdita di ciascun vertice in base alla sua frequenza di contatto nel dataset. Di conseguenza, apprendiamo efficacemente a prevedere la stima densa del contatto manuale con dati su larga scala senza soffrire dei problemi di squilibrio di classe e spaziale. I codici saranno rilasciati.

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.