ETCH: 等変的フィットネスによる着衣人体へのボディフィッティングの一般化

ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness

March 13, 2025

著者: Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu

cs.AI

要旨

3Dの着衣人体点群に身体をフィッティングすることは、一般的でありながらも困難な課題です。従来の最適化ベースのアプローチでは、ポーズ初期化に敏感な多段階パイプラインが使用されてきました。一方、最近の学習ベースの手法では、多様なポーズや衣服タイプへの汎化がしばしば課題となっています。本研究では、Equivariant Tightness Fitting for Clothed Humans（ETCH）という新しいパイプラインを提案します。ETCHは、局所的なSE(3)等変性を近似することで、衣服から身体表面へのマッピングを推定し、衣服表面から下層の身体への変位ベクトルとしてタイトネスを符号化します。このマッピングに続いて、ポーズ不変の身体特徴量を用いて疎な身体マーカーを回帰し、着衣人体フィッティングを内部身体マーカーフィッティングタスクに簡素化します。CAPEと4D-Dressにおける広範な実験により、ETCHが、タイトネスを考慮しない手法およびタイトネスを考慮した手法の両方において、緩い衣服での身体フィッティング精度（16.7%～69.5%）および形状精度（平均49.9%）で大幅に優れていることが示されました。我々の等変性タイトネス設計は、ワンショット（または分布外）設定において、方向誤差を（67.2%～89.8%）削減することさえ可能です。定性的な結果は、ETCHが挑戦的なポーズ、未見の形状、緩い衣服、非剛体ダイナミクスに関わらず、強力な汎化能力を持つことを示しています。研究目的のため、コードとモデルをhttps://boqian-li.github.io/ETCH/で近日公開予定です。

English

Fitting a body to a 3D clothed human point cloud is a common yet challenging task. Traditional optimization-based approaches use multi-stage pipelines that are sensitive to pose initialization, while recent learning-based methods often struggle with generalization across diverse poses and garment types. We propose Equivariant Tightness Fitting for Clothed Humans, or ETCH, a novel pipeline that estimates cloth-to-body surface mapping through locally approximate SE(3) equivariance, encoding tightness as displacement vectors from the cloth surface to the underlying body. Following this mapping, pose-invariant body features regress sparse body markers, simplifying clothed human fitting into an inner-body marker fitting task. Extensive experiments on CAPE and 4D-Dress show that ETCH significantly outperforms state-of-the-art methods -- both tightness-agnostic and tightness-aware -- in body fitting accuracy on loose clothing (16.7% ~ 69.5%) and shape accuracy (average 49.9%). Our equivariant tightness design can even reduce directional errors by (67.2% ~ 89.8%) in one-shot (or out-of-distribution) settings. Qualitative results demonstrate strong generalization of ETCH, regardless of challenging poses, unseen shapes, loose clothing, and non-rigid dynamics. We will release the code and models soon for research purposes at https://boqian-li.github.io/ETCH/.