Aprendizado de Estimativa de Contato Denso da Mão a partir de Dados Desbalanceados

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

Autores: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Resumo

As mãos são essenciais para a interação humana, e compreender o contato entre as mãos e o mundo pode promover um entendimento abrangente de sua função. Recentemente, tem havido um número crescente de conjuntos de dados de interação manual que cobrem a interação com objetos, outras mãos, cenas e o corpo. Apesar da importância da tarefa e do aumento de dados de alta qualidade, como aprender efetivamente a estimativa densa de contato manual permanece amplamente inexplorado. Existem dois grandes desafios para aprender a estimativa densa de contato manual. Primeiro, há um problema de desequilíbrio de classes nos conjuntos de dados de contato manual, onde a maioria das amostras não está em contato. Segundo, os conjuntos de dados de contato manual contêm um problema de desequilíbrio espacial, com a maior parte do contato manual exibido nas pontas dos dedos, resultando em desafios para a generalização de contatos em outras regiões da mão. Para enfrentar esses problemas, apresentamos um framework que aprende a estimativa densa de contato manual (HACO) a partir de dados desbalanceados. Para resolver o problema de desequilíbrio de classes, introduzimos a amostragem balanceada de contato, que constrói e amostra a partir de múltiplos grupos de amostragem que representam de forma justa diversas estatísticas de contato para amostras de contato e não contato. Além disso, para abordar o problema de desequilíbrio espacial, propomos a perda balanceada em nível de vértice (VCB), que incorpora a distribuição de contato espacialmente variável, reequilibrando separadamente a contribuição da perda de cada vértice com base em sua frequência de contato ao longo do conjunto de dados. Como resultado, aprendemos efetivamente a prever a estimativa densa de contato manual com dados de contato manual em grande escala, sem sofrer com os problemas de desequilíbrio de classe e espacial. Os códigos serão liberados.

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.