Обучение оценке плотных контактов руки на основе несбалансированных данных

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

Авторы: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Аннотация

Руки играют ключевую роль в человеческом взаимодействии, и понимание контакта между руками и окружающим миром способствует всестороннему изучению их функций. В последнее время наблюдается рост числа наборов данных, посвящённых взаимодействию рук, которые охватывают контакт с объектами, другими руками, сценами и телом. Несмотря на важность задачи и увеличение объёмов высококачественных данных, вопрос о том, как эффективно обучать плотную оценку контакта рук, остаётся малоизученным. Существует две основные проблемы при обучении плотной оценке контакта рук. Во-первых, в наборах данных о контакте рук наблюдается дисбаланс классов, где большинство образцов не находятся в контакте. Во-вторых, в этих наборах данных присутствует пространственный дисбаланс, так как большая часть контактов сосредоточена на кончиках пальцев, что создаёт трудности для обобщения контактов в других областях руки. Для решения этих проблем мы представляем фреймворк, который обучает плотную оценку контакта рук (HACO) на несбалансированных данных. Чтобы устранить дисбаланс классов, мы вводим сбалансированную выборку контактов, которая создаёт и выбирает данные из нескольких групп, равномерно представляющих разнообразную статистику контактов как для контактных, так и для неконтактных образцов. Кроме того, для решения проблемы пространственного дисбаланса мы предлагаем функцию потерь с балансировкой классов на уровне вершин (VCB), которая учитывает пространственно изменяющееся распределение контактов, перевзвешивая вклад каждой вершины в потери на основе частоты её контактов в наборе данных. В результате мы эффективно обучаемся предсказывать плотную оценку контакта рук на основе крупномасштабных данных, не страдая от проблем дисбаланса классов и пространственного распределения. Код будет опубликован.

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.