Aprendizaje Invariante al Estilo de Calzado y Consciente del Terreno para la Estimación Densa de Contacto del Pie

Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation

November 27, 2025

Autores: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Resumen

El contacto del pie juega un papel crítico en la interacción humana con el mundo y, por lo tanto, explorar dicho contacto puede mejorar nuestra comprensión del movimiento humano y la interacción física. A pesar de su importancia, los métodos existentes a menudo aproximan el contacto del pie mediante una restricción de velocidad cero y se centran en el contacto a nivel articular, sin capturar la interacción detallada entre el pie y el entorno. La estimación densa del contacto del pie es crucial para modelar con precisión esta interacción; sin embargo, predecir el contacto denso del pie a partir de una única imagen RGB sigue siendo un área poco explorada. Existen dos desafíos principales para aprender la estimación densa del contacto del pie. En primer lugar, los zapatos presentan apariencias muy diversas, lo que dificulta que los modelos generalicen entre diferentes estilos. En segundo lugar, el suelo suele tener una apariencia monótona, lo que dificulta la extracción de características informativas. Para abordar estos problemas, presentamos un marco de estimación de contacto del pie (FECO, por sus siglas en inglés) que aprende el contacto denso del pie mediante un aprendizaje invariante al estilo del calzado y consciente del suelo. Para superar el desafío de la diversidad de apariencia del calzado, nuestro enfoque incorpora un entrenamiento adversarial de estilos de zapatos que impone características invariantes al estilo para la estimación del contacto. Para utilizar eficazmente la información del suelo, introducimos un extractor de características del suelo que captura las propiedades del terreno basándose en el contexto espacial. Como resultado, nuestro método propuesto logra una estimación robusta del contacto del pie independientemente de la apariencia del calzado y aprovecha eficazmente la información del suelo. El código será liberado.

English

Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.