Apprentissage Invariant au Style de Chaussure et Conscient du Sol pour l'Estimation Dense du Contact du Pied

Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation

November 27, 2025

papers.authors: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

papers.abstract

Le contact du pied joue un rôle essentiel dans l'interaction humaine avec le monde, et son exploration permet donc d'approfondir notre compréhension du mouvement humain et de l'interaction physique. Malgré son importance, les méthodes existantes approchent souvent le contact du pied par une contrainte de vitesse nulle et se concentrent sur le contact au niveau articulaire, sans parvenir à capturer l'interaction détaillée entre le pied et l'environnement. L'estimation dense du contact du pied est cruciale pour modéliser précisément cette interaction, mais la prédiction d'un contact dense à partir d'une seule image RVB reste largement inexplorée. L'apprentissage de cette estimation présente deux défis majeurs. Premièrement, les chaussures présentent des apparences très diverses, ce qui rend difficile la généralisation des modèles à différents styles. Deuxièmement, le sol a souvent une apparence monotone, compliquant l'extraction de caractéristiques informatives. Pour résoudre ces problèmes, nous proposons un cadre FECO (FEet COntact estimation) qui apprend le contact dense du pied via un apprentissage invariant au style de chaussure et sensible au sol. Pour surmonter la diversité d'apparence des chaussures, notre approche intègre un entraînement adversarial sur le style qui impose des caractéristiques invariantes pour l'estimation du contact. Pour exploiter efficacement les informations du sol, nous introduisons un extracteur de caractéristiques du sol qui capture ses propriétés basées sur le contexte spatial. Ainsi, notre méthode permet une estimation robuste du contact du pied indépendamment de l'apparence des chaussures et utilise efficacement les informations du sol. Le code sera publié.

English

Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.