Lernen der dichten Handkontaktschätzung aus unausgeglichenen Daten

Learning Dense Hand Contact Estimation from Imbalanced Data

May 16, 2025

Autoren: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Zusammenfassung

Hände sind entscheidend für die menschliche Interaktion, und das Verständnis des Kontakts zwischen Händen und der Welt kann ein umfassendes Verständnis ihrer Funktion fördern. In letzter Zeit gibt es eine wachsende Anzahl von Datensätzen zur Handinteraktion, die die Interaktion mit Objekten, anderen Händen, Szenen und dem Körper abdecken. Trotz der Bedeutung der Aufgabe und der zunehmend hochwertigen Daten bleibt die Frage, wie man die dichte Handkontaktschätzung effektiv lernen kann, weitgehend unerforscht. Es gibt zwei Hauptherausforderungen beim Lernen der dichten Handkontaktschätzung. Erstens gibt es ein Klassenungleichgewichtsproblem in Handkontaktdatensätzen, bei dem die Mehrheit der Proben keinen Kontakt aufweist. Zweitens weisen Handkontaktdatensätze ein räumliches Ungleichgewichtsproblem auf, bei dem der Großteil des Handkontakts in den Fingerspitzen auftritt, was die Generalisierung auf Kontakte in anderen Handregionen erschwert. Um diese Probleme zu lösen, präsentieren wir ein Framework, das die dichte HAnd COntact-Schätzung (HACO) aus unausgewogenen Daten lernt. Um das Klassenungleichgewichtsproblem zu beheben, führen wir ein ausgewogenes Kontaktsampling ein, das aus mehreren Sampling-Gruppen aufbaut und Proben zieht, die die diversen Kontaktstatistiken sowohl für Kontakt- als auch für Nicht-Kontakt-Proben fair repräsentieren. Darüber hinaus schlagen wir zur Lösung des räumlichen Ungleichgewichtsproblems den vertex-level class-balanced (VCB) Loss vor, der die räumlich variierende Kontaktverteilung berücksichtigt, indem der Beitrag jedes Vertex zum Verlust basierend auf seiner Kontakthäufigkeit im Datensatz separat gewichtet wird. Dadurch lernen wir effektiv, die dichte Handkontaktschätzung mit groß angelegten Handkontaktdaten vorherzusagen, ohne unter Klassen- und räumlichen Ungleichgewichtsproblemen zu leiden. Die Codes werden veröffentlicht.

English

Hands are essential to human interaction, and understanding contact between hands and the world can promote comprehensive understanding of their function. Recently, there have been growing number of hand interaction datasets that cover interaction with object, other hand, scene, and body. Despite the significance of the task and increasing high-quality data, how to effectively learn dense hand contact estimation remains largely underexplored. There are two major challenges for learning dense hand contact estimation. First, there exists class imbalance issue from hand contact datasets where majority of samples are not in contact. Second, hand contact datasets contain spatial imbalance issue with most of hand contact exhibited in finger tips, resulting in challenges for generalization towards contacts in other hand regions. To tackle these issues, we present a framework that learns dense HAnd COntact estimation (HACO) from imbalanced data. To resolve the class imbalance issue, we introduce balanced contact sampling, which builds and samples from multiple sampling groups that fairly represent diverse contact statistics for both contact and non-contact samples. Moreover, to address the spatial imbalance issue, we propose vertex-level class-balanced (VCB) loss, which incorporates spatially varying contact distribution by separately reweighting loss contribution of each vertex based on its contact frequency across dataset. As a result, we effectively learn to predict dense hand contact estimation with large-scale hand contact data without suffering from class and spatial imbalance issue. The codes will be released.