Apprendimento Indipendente dallo Stile della Scarpa e Consapevole del Terreno per la Stima Densa del Contatto del Piede
Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation
November 27, 2025
Autori: Daniel Sungho Jung, Kyoung Mu Lee
cs.AI
Abstract
Il contatto del piede svolge un ruolo fondamentale nell'interazione umana con il mondo, pertanto l'esplorazione del contatto podalico può far progredire la nostra comprensione del movimento umano e dell'interazione fisica. Nonostante la sua importanza, i metodi esistenti spesso approssimano il contatto del piede utilizzando un vincolo di velocità zero e si concentrano sul contatto a livello articolare, non riuscendo a catturare l'interazione dettagliata tra il piede e il mondo. La stima densa del contatto del piede è cruciale per modellare accuratamente questa interazione, eppure la previsione del contatto podalico denso a partire da una singola immagine RGB rimane in gran parte inesplorata. Esistono due sfide principali per l'apprendimento della stima del contatto podalico denso. In primo luogo, le calzature presentano aspetto estremamente vario, rendendo difficile per i modelli generalizzare tra stili diversi. In secondo luogo, il terreno ha spesso un aspetto monotono, rendendo difficile l'estrazione di caratteristiche informative. Per affrontare questi problemi, presentiamo un framework per la stima del COntatto del PIEde (FECO) che apprende il contatto podalico denso mediante apprendimento invariante allo stile della calzatura e consapevole del terreno. Per superare la sfida della diversità dell'aspetto delle calzature, il nostro approccio incorpora un addestramento adversarial sullo stile della scarpa che impone caratteristiche invarianti allo stile per la stima del contatto. Per utilizzare efficacemente le informazioni sul terreno, introduciamo un estrattore di caratteristiche del terreno che cattura le proprietà del suolo basandosi sul contesto spaziale. Di conseguenza, il nostro metodo proposto raggiunge una stima robusta del contatto del piede indipendentemente dall'aspetto della calzatura e sfrutta efficacemente le informazioni del terreno. Il codice sarà rilasciato.
English
Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.