ETCH: Generalização do Ajuste Corporal para Humanos Vestidos via Apertura Equivariante

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

Autores: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

Resumo

Ajustar um corpo a uma nuvem de pontos 3D de humanos vestidos é uma tarefa comum, porém desafiadora. Abordagens tradicionais baseadas em otimização utilizam pipelines de múltiplos estágios que são sensíveis à inicialização da pose, enquanto métodos recentes baseados em aprendizado frequentemente enfrentam dificuldades de generalização em poses diversas e tipos de vestimentas. Propomos o Equivariant Tightness Fitting for Clothed Humans, ou ETCH, um pipeline inovador que estima o mapeamento da superfície do tecido para o corpo por meio de equivariância SE(3) localmente aproximada, codificando a aderência como vetores de deslocamento da superfície do tecido para o corpo subjacente. Após esse mapeamento, características invariantes à pose do corpo regridem marcadores corporais esparsos, simplificando o ajuste de humanos vestidos em uma tarefa de ajuste de marcadores internos do corpo. Experimentos extensivos no CAPE e 4D-Dress mostram que o ETCH supera significativamente os métodos state-of-the-art — tanto os que ignoram a aderência quanto os que a consideram — em precisão de ajuste corporal em roupas soltas (16,7% ~ 69,5%) e precisão de forma (média de 49,9%). Nosso design de aderência equivariante pode até reduzir erros direcionais em (67,2% ~ 89,8%) em configurações one-shot (ou fora da distribuição). Resultados qualitativos demonstram uma forte generalização do ETCH, independentemente de poses desafiadoras, formas não vistas, roupas soltas e dinâmicas não rígidas. Liberaremos o código e os modelos em breve para fins de pesquisa em https://boqian-li.github.io/ETCH/.

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.