ETCH: Generalizzazione dell'adattamento corporeo agli esseri umani vestiti tramite aderenza equivariante

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

Autori: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

Abstract

L'adattamento di un corpo a una nuvola di punti 3D di un umano vestito è un compito comune ma impegnativo. Gli approcci tradizionali basati sull'ottimizzazione utilizzano pipeline multi-stadio che sono sensibili all'inizializzazione della posa, mentre i metodi recenti basati sull'apprendimento spesso faticano a generalizzare su pose e tipi di abbigliamento diversi. Proponiamo Equivariant Tightness Fitting for Clothed Humans, o ETCH, una nuova pipeline che stima la mappatura superficie corpo-vestito attraverso l'equivarianza SE(3) approssimata localmente, codificando la vestibilità come vettori di spostamento dalla superficie del vestito al corpo sottostante. Seguendo questa mappatura, le caratteristiche del corpo invarianti alla posa regrediscono marcatori corporei sparsi, semplificando l'adattamento dell'umano vestito in un compito di adattamento dei marcatori interni al corpo. Esperimenti estensivi su CAPE e 4D-Dress mostrano che ETCH supera significativamente i metodi all'avanguardia — sia quelli che ignorano la vestibilità che quelli che la considerano — in termini di accuratezza nell'adattamento del corpo su abiti larghi (16,7% ~ 69,5%) e accuratezza della forma (media del 49,9%). Il nostro design di vestibilità equivariante può persino ridurre gli errori direzionali del (67,2% ~ 89,8%) in contesti one-shot (o fuori distribuzione). I risultati qualitativi dimostrano una forte generalizzazione di ETCH, indipendentemente da pose complesse, forme non viste, abiti larghi e dinamiche non rigide. Rilasceremo presto il codice e i modelli per scopi di ricerca all'indirizzo https://boqian-li.github.io/ETCH/.

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.