Schuhstil-invariantes und bodenbewusstes Lernen für dichte Fußkontaktschätzung
Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation
November 27, 2025
papers.authors: Daniel Sungho Jung, Kyoung Mu Lee
cs.AI
papers.abstract
Der Fußkontakt spielt eine entscheidende Rolle bei der Interaktion des Menschen mit der Welt, weshalb die Erforschung des Fußkontakts unser Verständnis menschlicher Bewegung und physischer Interaktion erweitern kann. Trotz seiner Bedeutung approximieren bestehende Methoden den Fußkontakt oft durch eine Nullgeschwindigkeitsbedingung und konzentrieren sich auf Gelenkkontakte, wodurch die detaillierte Interaktion zwischen Fuß und Umwelt nicht erfasst wird. Eine dichte Schätzung des Fußkontakts ist entscheidend für die genaue Modellierung dieser Interaktion, dennoch wurde die Vorhersage dichten Fußkontakts aus einem einzelnen RGB-Bild bisher kaum untersucht. Für das Erlernen der dichten Fußkontaktschätzung bestehen zwei Hauptherausforderungen: Erstens weisen Schuhe sehr unterschiedliche Erscheinungsbilder auf, was die Generalisierbarkeit von Modellen über verschiedene Stile hinweg erschwert. Zweitens hat der Untergrund oft ein eintöniges Erscheinungsbild, was die Extraktion informativer Merkmale schwierig macht. Um diese Probleme zu bewältigen, stellen wir ein Framework zur dichten Fußkontaktschätzung (FECO) vor, das dichten Fußkontakt durch schuhstilinvariantes und bodenbewusstes Lernen erlernt. Um die Herausforderung der Schuhstilvielfalt zu bewältigen, integriert unser Ansatz ein adversarielles Training der Schuhstile, das schuhstilinvariante Merkmale für die Kontaktschätzung erzwingt. Um Bodeninformationen effektiv zu nutzen, führen wir einen Bodeneigenschaften-Extraktor ein, der Bodeneigenschaften auf Basis des räumlichen Kontexts erfasst. Infolgedessen erreicht unsere Methode eine robuste Fußkontaktschätzung unabhängig vom Schuherscheinungsbild und nutzt Bodeninformationen effektiv. Der Code wird veröffentlicht.
English
Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.