Обучение, инвариантное к стилю обуви и учитывающее поверхность, для плотной оценки контакта стопы
Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation
November 27, 2025
Авторы: Daniel Sungho Jung, Kyoung Mu Lee
cs.AI
Аннотация
Контакт стопы с поверхностью играет ключевую роль во взаимодействии человека с окружающим миром, поэтому его изучение способствует углублению нашего понимания человеческого движения и физического взаимодействия. Несмотря на важность, существующие методы часто аппроксимируют контакт стопы с использованием ограничения нулевой скорости и фокусируются на контакте на уровне суставов, не учитывая детального взаимодействия между стопой и поверхностью. Плотная оценка контакта стопы крайне важна для точного моделирования этого взаимодействия, однако прогнозирование плотного контакта по одному RGB-изображению остается малоизученной областью. Существует две основные проблемы при обучении оценке плотного контакта стопы. Во-первых, обувь обладает чрезвычайно разнообразным внешним видом, что затрудняет обобщение моделей для разных стилей. Во-вторых, поверхность зачастую имеет монотонный внешний вид, что осложняет извлечение информативных признаков. Для решения этих проблем мы предлагаем framework FECO (оценка контакта стопы), который обучает плотному контакту с использованием обучения, инвариантного к стилю обуви и учитывающего свойства поверхности. Для преодоления сложностей, связанных с разнообразием внешнего вида обуви, наш подход включает adversarial-обучение на стилях обуви, которое обеспечивает инвариантность признаков к стилю обуви при оценке контакта. Для эффективного использования информации о поверхности мы вводим экстрактор признаков поверхности, который учитывает её свойства на основе пространственного контекста. В результате предложенный метод обеспечивает надежную оценку контакта стопы независимо от внешнего вида обуви и эффективно использует информацию о поверхности. Код будет опубликован.
English
Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.