신발 스타일 불변 및 지면 인식 학습 기반 밀집 발 접촉 추정

Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation

November 27, 2025

저자: Daniel Sungho Jung, Kyoung Mu Lee

cs.AI

초록

발 접촉은 인간이 세계와 상호작용하는 데 중요한 역할을 하므로, 발 접촉을 탐구함으로써 인간의 움직임과 물리적 상호작용에 대한 이해를 높일 수 있습니다. 그 중요성에도 불구하고, 기존 방법들은 주로 영속도 제약을 사용해 발 접촉을 근사화하고 관절 수준의 접촉에 초점을 맞춰 발과 세계 간의 세부적인 상호작용을 포착하지 못하는 경우가 많습니다. 이러한 상호작용을 정확하게 모델링하기 위해서는 조밀한 발 접촉 추정이 중요하지만, 단일 RGB 이미지로부터 조밀한 발 접촉을 예측하는 연구는 여전히 미비한 실정입니다. 조밀한 발 접촉 추정 학습에는 두 가지 주요 과제가 있습니다. 첫째, 신발은 매우 다양한 외관을 보여주어 모델이 다양한 스타일로 일반화하기 어렵습니다. 둘째, 지면은 단조로운 외관을 가지는 경우가 많아 정보성이 높은 특징을 추출하기 어렵습니다. 이러한 문제를 해결하기 위해 우리는 신발 스타일 불변 및 지면 인식 학습을 통해 조밀한 발 접촉을 학습하는 FECO(FEet COntact estimation) 프레임워크를 제안합니다. 신발 외관 다양성의 과제를 극복하기 위해, 우리의 접근법은 접촉 추정을 위한 신발 스타일 불변 특징을 강제하는 신발 스타일 적대적 학습을 통합합니다. 지면 정보를 효과적으로 활용하기 위해, 우리는 공간적 문맥을 기반으로 지면 특성을 포착하는 지면 특징 추출기를 도입했습니다. 그 결과, 제안된 방법은 신발 외관에 관계없이 강력한 발 접촉 추정을 달성하고 지면 정보를 효과적으로 활용합니다. 코드는 공개될 예정입니다.

English

Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.