ETCH: Обобщение подгонки под тело на одетых людей с помощью эквивариантной плотности

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

Авторы: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

Аннотация

Подгонка тела к трехмерному облаку точек одетого человека является распространенной, но сложной задачей. Традиционные подходы, основанные на оптимизации, используют многоэтапные конвейеры, которые чувствительны к инициализации позы, в то время как современные методы, основанные на обучении, часто сталкиваются с проблемами обобщения для различных поз и типов одежды. Мы предлагаем Equivariant Tightness Fitting for Clothed Humans (ETCH) — новый конвейер, который оценивает отображение поверхности одежды на тело через локально приближенную SE(3)-эквивариантность, кодируя плотность как векторы смещения от поверхности одежды к телу. На основе этого отображения, инвариантные к позе признаки тела регрессируют разреженные маркеры тела, упрощая задачу подгонки одетого человека до подгонки внутренних маркеров тела. Многочисленные эксперименты на данных CAPE и 4D-Dress показывают, что ETCH значительно превосходит современные методы — как не учитывающие плотность, так и учитывающие её — по точности подгонки тела для свободной одежды (16,7% ~ 69,5%) и точности формы (в среднем 49,9%). Наш дизайн эквивариантной плотности может даже уменьшить направленные ошибки на (67,2% ~ 89,8%) в условиях однократного (или вне распределения) применения. Качественные результаты демонстрируют сильное обобщение ETCH, независимо от сложных поз, неизвестных форм, свободной одежды и нежесткой динамики. Мы скоро опубликуем код и модели для исследовательских целей на https://boqian-li.github.io/ETCH/.

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.