ETCH: Generalización del ajuste corporal a humanos vestidos mediante tensión equivariante

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

Autores: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

Resumen

Ajustar un cuerpo a una nube de puntos 3D de un humano vestido es una tarea común pero desafiante. Los enfoques tradicionales basados en optimización utilizan pipelines de múltiples etapas que son sensibles a la inicialización de la pose, mientras que los métodos recientes basados en aprendizaje a menudo tienen dificultades para generalizar en diversas poses y tipos de prendas. Proponemos Equivariant Tightness Fitting for Clothed Humans, o ETCH, un pipeline novedoso que estima el mapeo de la superficie de la prenda al cuerpo mediante una equivariancia SE(3) local aproximada, codificando la tensión como vectores de desplazamiento desde la superficie de la prenda al cuerpo subyacente. Siguiendo este mapeo, características invariantes a la pose del cuerpo regresan marcadores corporales dispersos, simplificando el ajuste de humanos vestidos en una tarea de ajuste de marcadores internos del cuerpo. Experimentos extensivos en CAPE y 4D-Dress muestran que ETCH supera significativamente a los métodos más avanzados —tanto aquellos que ignoran la tensión como los que la consideran— en precisión de ajuste corporal en prendas sueltas (16.7% ~ 69.5%) y precisión de forma (promedio de 49.9%). Nuestro diseño de tensión equivariante puede incluso reducir errores direccionales en un (67.2% ~ 89.8%) en configuraciones de un solo paso (o fuera de distribución). Los resultados cualitativos demuestran una fuerte generalización de ETCH, independientemente de poses desafiantes, formas no vistas, prendas sueltas y dinámicas no rígidas. Pronto liberaremos el código y los modelos con fines de investigación en https://boqian-li.github.io/ETCH/.

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.