Aprendizaje de la Estimación de Contacto Denso de Manos a partir de Datos Desbalanceados

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

Autores: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Resumen

Las manos son esenciales para la interacción humana, y comprender el contacto entre las manos y el mundo puede promover una comprensión integral de su función. Recientemente, ha habido un creciente número de conjuntos de datos sobre interacciones manuales que cubren la interacción con objetos, otras manos, escenas y el cuerpo. A pesar de la importancia de la tarea y del aumento de datos de alta calidad, cómo aprender efectivamente la estimación densa del contacto manual sigue siendo un área poco explorada. Existen dos desafíos principales para aprender la estimación densa del contacto manual. Primero, existe un problema de desequilibrio de clases en los conjuntos de datos de contacto manual, donde la mayoría de las muestras no están en contacto. Segundo, los conjuntos de datos de contacto manual contienen un problema de desequilibrio espacial, ya que la mayor parte del contacto manual se exhibe en las puntas de los dedos, lo que resulta en desafíos para generalizar hacia contactos en otras regiones de la mano. Para abordar estos problemas, presentamos un marco que aprende la estimación densa de contacto manual (HACO) a partir de datos desequilibrados. Para resolver el problema de desequilibrio de clases, introducimos el muestreo equilibrado de contacto, que construye y muestrea a partir de múltiples grupos de muestreo que representan de manera justa diversas estadísticas de contacto tanto para muestras en contacto como no en contacto. Además, para abordar el problema de desequilibrio espacial, proponemos una pérdida equilibrada a nivel de vértice (VCB), que incorpora una distribución de contacto espacialmente variable al reajustar por separado la contribución de la pérdida de cada vértice según su frecuencia de contacto en el conjunto de datos. Como resultado, aprendemos efectivamente a predecir la estimación densa del contacto manual con datos de contacto manual a gran escala sin sufrir los problemas de desequilibrio de clases y espacial. Los códigos serán liberados.

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.