ETCH: 등변형 타이트함을 통해 옷을 입은 사람에 대한 신체 맞춤 일반화

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

저자: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

초록

3D 의복 인체 포인트 클라우드에 신체를 맞추는 작업은 흔하지만 어려운 과제입니다. 전통적인 최적화 기반 접근법은 포즈 초기화에 민감한 다단계 파이프라인을 사용하는 반면, 최근의 학습 기반 방법들은 다양한 포즈와 의복 유형에 대한 일반화에 어려움을 겪는 경우가 많습니다. 우리는 ETCH(Equivariant Tightness Fitting for Clothed Humans)라는 새로운 파이프라인을 제안합니다. 이는 국소적으로 근사한 SE(3) 등변성을 통해 의복-신체 표면 매핑을 추정하며, 의복 표면에서 내부 신체까지의 변위 벡터로 타이트함을 인코딩합니다. 이 매핑을 따라 포즈 불변 신체 특징은 희소 신체 마커를 회귀하며, 의복 인체 맞춤을 내부 신체 마커 맞춤 작업으로 단순화합니다. CAPE와 4D-Dress에 대한 광범위한 실험에서 ETCH는 느슨한 의복(16.7% ~ 69.5%)과 형태 정확도(평균 49.9%)에서 타이트함을 고려하지 않은 방법과 고려한 최신 방법 모두를 크게 능가하는 성능을 보였습니다. 우리의 등변 타이트함 설계는 원샷(또는 분포 외) 설정에서 방향 오류를 (67.2% ~ 89.8%)까지 줄일 수 있습니다. 정성적 결과는 ETCH가 도전적인 포즈, 보지 못한 형태, 느슨한 의복, 비강체 역학에 관계없이 강력한 일반화 능력을 보여줍니다. 연구 목적으로 코드와 모델을 곧 https://boqian-li.github.io/ETCH/에서 공개할 예정입니다.

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.