Schoenstijl-Onafhankelijk en Grondbewust Leren voor Dichte Voetcontactschatting

Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation

November 27, 2025

Auteurs: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Samenvatting

Voetcontact speelt een cruciale rol in de menselijke interactie met de wereld, en het onderzoeken ervan kan ons begrip van menselijke beweging en fysieke interactie vergroten. Ondanks het belang ervan, benaderen bestaande methoden voetcontact vaak met een nulsnelheidsbeperking en richten zich op contact op gewrichtsniveau, waardoor de gedetailleerde interactie tussen de voet en de wereld niet wordt vastgelegd. Dichte schatting van voetcontact is essentieel voor een nauwkeurige modellering van deze interactie, maar het voorspellen van dicht voetcontact vanuit een enkele RGB-afbeelding is grotendeels onontgonnen terrein. Er zijn twee grote uitdagingen bij het leren van dichte voetcontactschatting. Ten eerste vertonen schoenen een grote verscheidenheid in uiterlijk, wat het voor modellen moeilijk maakt om te generaliseren over verschillende stijlen. Ten tweede heeft de grond vaak een eentonig uiterlijk, waardoor het lastig is om informatieve kenmerken te extraheren. Om deze problemen aan te pakken, presenteren we het FEet COntact estimation (FECO) raamwerk dat dicht voetcontact leert met schoenstijl-invariante en grondbewuste leertechnieken. Om de uitdaging van de diversiteit in schoenuitstraling te overwinnen, integreert onze aanpak adversarial training voor schoenstijl die schoenstijl-invariante kenmerken afdwingt voor de contactschatting. Om grondinformatie effectief te benutten, introduceren we een grondkenmerkextractor die grondeigenschappen vastlegt op basis van ruimtelijke context. Hierdoor bereikt onze voorgestelde methode een robuuste voetcontactschatting, ongeacht het uiterlijk van de schoen, en benut ze grondinformatie effectief. De code zal worden vrijgegeven.

English

Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.