靴のスタイルに依存せず地形を認識する高密度足裏接触推定のための学習手法
Shoe Style-Invariant and Ground-Aware Learning for Dense Foot Contact Estimation
November 27, 2025
著者: Daniel Sungho Jung, Kyoung Mu Lee
cs.AI
要旨
足部接触は、人間が世界と相互作用する上で重要な役割を果たすため、足部接触の探求は人間の動作と物理的相互作用の理解を促進することができる。その重要性にもかかわらず、既存手法ではゼロ速度制約を用いた近似や関節レベルの接触に焦点を当てることが多く、足部と環境の詳細な相互作用を捉えられていない。この相互作用を正確にモデル化するには、密な足部接触の推定が不可欠であるが、単一のRGB画像から密な足部接触を予測する手法はほとんど研究されていない。密な足部接触推定の学習には主に2つの課題がある。第一に、靴は見た目の多様性が極めて高く、異なるスタイルにモデルを一般化することが困難である。第二に、地面は単調な見た目であることが多く、情報量の多い特徴を抽出するのが難しい。これらの問題に対処するため、本論文では靴のスタイルに依存しない特徴学習と地面を意識した学習により密な足部接触を学習するFEet COntact estimation（FECO）フレームワークを提案する。靴の見た目の多様性という課題に対処するため、本手法では接触推定において靴のスタイルに依存しない特徴を強制する敵対的学習を組み込んでいる。地面の情報を効果的に活用するため、空間的文脈に基づいて地面の特性を捉える地面特徴抽出器を導入する。その結果、提案手法は靴の見た目に依存せずにロバストな足部接触推定を実現し、地面の情報を効果的に活用することができる。コードは公開予定である。
English
Foot contact plays a critical role in human interaction with the world, and thus exploring foot contact can advance our understanding of human movement and physical interaction. Despite its importance, existing methods often approximate foot contact using a zero-velocity constraint and focus on joint-level contact, failing to capture the detailed interaction between the foot and the world. Dense estimation of foot contact is crucial for accurately modeling this interaction, yet predicting dense foot contact from a single RGB image remains largely underexplored. There are two main challenges for learning dense foot contact estimation. First, shoes exhibit highly diverse appearances, making it difficult for models to generalize across different styles. Second, ground often has a monotonous appearance, making it difficult to extract informative features. To tackle these issues, we present a FEet COntact estimation (FECO) framework that learns dense foot contact with shoe style-invariant and ground-aware learning. To overcome the challenge of shoe appearance diversity, our approach incorporates shoe style adversarial training that enforces shoe style-invariant features for contact estimation. To effectively utilize ground information, we introduce a ground feature extractor that captures ground properties based on spatial context. As a result, our proposed method achieves robust foot contact estimation regardless of shoe appearance and effectively leverages ground information. Code will be released.