Aprendizado Invariante ao Estilo do Calçado e Consciente do Solo para Estimativa Densa de Contato do Pé

Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation

November 27, 2025

Autores: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

Resumo

O contato do pé desempenha um papel crítico na interação humana com o mundo e, portanto, explorar esse contato pode avançar nossa compreensão do movimento humano e da interação física. Apesar de sua importância, os métodos existentes frequentemente aproximam o contato do pé usando uma restrição de velocidade zero e focam no contato a nível articular, falhando em capturar a interação detalhada entre o pé e o mundo. A estimativa densa do contato do pé é crucial para modelar com precisão essa interação, mas a previsão do contato denso do pé a partir de uma única imagem RGB permanece amplamente inexplorada. Existem dois desafios principais para aprender a estimativa densa do contato do pé. Primeiro, os calçados exibem aparências altamente diversificadas, dificultando a generalização dos modelos entre diferentes estilos. Segundo, o solo frequentemente tem uma aparência monótona, dificultando a extração de características informativas. Para enfrentar esses problemas, apresentamos uma estrutura de estimativa de contato do pé (FECO) que aprende o contato denso do pé com aprendizado invariante ao estilo do calçado e consciente do solo. Para superar o desafio da diversidade de aparência dos calçados, nossa abordagem incorpora treinamento adversarial de estilo de calçado que impõe características invariantes ao estilo para a estimativa de contato. Para utilizar efetivamente as informações do solo, introduzimos um extrator de características do solo que captura as propriedades do solo com base no contexto espacial. Como resultado, nosso método proposto alcança uma estimativa robusta do contato do pé, independentemente da aparência do calçado, e aproveita efetivamente as informações do solo. O código será disponibilizado.

English

Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.