UP2You : Reconstruction rapide de soi-même à partir de collections de photos non contraintes

UP2You: Fast Reconstruction of Yourself from Unconstrained Photo Collections

September 29, 2025

papers.authors: Zeyu Cai, Ziyang Li, Xiaoben Li, Boqian Li, Zeyu Wang, Zhenyu Zhang, Yuliang Xiu

cs.AI

papers.abstract

Nous présentons UP2You, la première solution sans réglage pour la reconstruction de portraits 3D habillés en haute fidélité à partir de photos 2D extrêmement non contraintes prises en conditions réelles. Contrairement aux approches précédentes qui nécessitent des entrées "propres" (par exemple, des images du corps entier avec des occlusions minimales, ou des captures multi-vues bien calibrées), UP2You traite directement des photographies brutes et non structurées, qui peuvent varier considérablement en termes de pose, de point de vue, de cadrage et d'occlusion. Au lieu de compresser les données en tokens pour une optimisation lente en ligne de texte à 3D, nous introduisons un paradigme de rectification des données qui convertit efficacement les entrées non contraintes en images multi-vues propres et orthogonales en une seule passe avant en quelques secondes, simplifiant ainsi la reconstruction 3D. Au cœur d'UP2You se trouve un module d'agrégation de caractéristiques corrélées à la pose (PCFA), qui fusionne sélectivement les informations provenant de plusieurs images de référence par rapport aux poses cibles, permettant une meilleure préservation de l'identité et une empreinte mémoire quasi constante, avec davantage d'observations. Nous introduisons également un prédicteur de forme multi-référence basé sur un perceveur, éliminant ainsi le besoin de modèles corporels pré-capturés. Des expériences approfondies sur 4D-Dress, PuzzleIOI et des captures en conditions réelles démontrent qu'UP2You surpasse systématiquement les méthodes précédentes en termes de précision géométrique (Chamfer-15%, P2S-18% sur PuzzleIOI) et de fidélité texturale (PSNR-21%, LPIPS-46% sur 4D-Dress). UP2You est efficace (1,5 minute par personne) et polyvalent (supporte un contrôle de pose arbitraire et un essayage virtuel 3D multi-vêtements sans entraînement), le rendant pratique pour des scénarios réels où les humains sont capturés de manière informelle. Les modèles et le code seront publiés pour faciliter les recherches futures sur cette tâche peu explorée. Page du projet : https://zcai0612.github.io/UP2You

English

We present UP2You, the first tuning-free solution for reconstructing high-fidelity 3D clothed portraits from extremely unconstrained in-the-wild 2D photos. Unlike previous approaches that require "clean" inputs (e.g., full-body images with minimal occlusions, or well-calibrated cross-view captures), UP2You directly processes raw, unstructured photographs, which may vary significantly in pose, viewpoint, cropping, and occlusion. Instead of compressing data into tokens for slow online text-to-3D optimization, we introduce a data rectifier paradigm that efficiently converts unconstrained inputs into clean, orthogonal multi-view images in a single forward pass within seconds, simplifying the 3D reconstruction. Central to UP2You is a pose-correlated feature aggregation module (PCFA), that selectively fuses information from multiple reference images w.r.t. target poses, enabling better identity preservation and nearly constant memory footprint, with more observations. We also introduce a perceiver-based multi-reference shape predictor, removing the need for pre-captured body templates. Extensive experiments on 4D-Dress, PuzzleIOI, and in-the-wild captures demonstrate that UP2You consistently surpasses previous methods in both geometric accuracy (Chamfer-15%, P2S-18% on PuzzleIOI) and texture fidelity (PSNR-21%, LPIPS-46% on 4D-Dress). UP2You is efficient (1.5 minutes per person), and versatile (supports arbitrary pose control, and training-free multi-garment 3D virtual try-on), making it practical for real-world scenarios where humans are casually captured. Both models and code will be released to facilitate future research on this underexplored task. Project Page: https://zcai0612.github.io/UP2You