UP2You: Snelle reconstructie van jezelf uit ongebreidelde fotocollecties

Samenvatting

We presenteren UP2You, de eerste afstelmingsvrije oplossing voor het reconstrueren van hoogwaardige 3D-geklede portretten uit extreem onbeperkte 2D-foto's in de echte wereld. In tegenstelling tot eerdere benaderingen die "schone" invoer vereisen (bijvoorbeeld volledige lichaamsafbeeldingen met minimale occlusies, of goed gekalibreerde kruisbeeldopnames), verwerkt UP2You rechtstreeks ruwe, ongestructureerde foto's, die aanzienlijk kunnen variëren in houding, gezichtspunt, bijsnijding en occlusie. In plaats van gegevens te comprimeren in tokens voor langzame online tekst-naar-3D-optimalisatie, introduceren we een datarectificatieparadigma dat onbeperkte invoer efficiënt omzet in schone, orthogonale multi-view afbeeldingen in één enkele voorwaartse passage binnen enkele seconden, wat de 3D-reconstructie vereenvoudigt. Centraal in UP2You staat een pose-gecorreleerde kenmerkaggregatiemodule (PCFA), die selectief informatie uit meerdere referentieafbeeldingen samenvoegt met betrekking tot doelposities, wat een betere identiteitsbehoud en een bijna constant geheugenverbruik mogelijk maakt, met meer observaties. We introduceren ook een waarnemer-gebaseerde multi-referentie vormvoorspeller, waardoor de noodzaak van vooraf vastgelegde lichaamsjassen wordt weggenomen. Uitgebreide experimenten op 4D-Dress, PuzzleIOI en opnames in de echte wereld tonen aan dat UP2You consistent eerdere methoden overtreft in zowel geometrische nauwkeurigheid (Chamfer-15%, P2S-18% op PuzzleIOI) als textuurgetrouwheid (PSNR-21%, LPIPS-46% op 4D-Dress). UP2You is efficiënt (1,5 minuten per persoon) en veelzijdig (ondersteunt willekeurige posecontrole en trainingsvrije multi-kleding 3D-virtuele passen), waardoor het praktisch is voor real-world scenario's waarin mensen informeel worden vastgelegd. Zowel modellen als code zullen worden vrijgegeven om toekomstig onderzoek naar deze onderbelichte taak te vergemakkelijken. Projectpagina: https://zcai0612.github.io/UP2You

English

We present UP2You, the first tuning-free solution for reconstructing high-fidelity 3D clothed portraits from extremely unconstrained in-the-wild 2D photos. Unlike previous approaches that require "clean" inputs (e.g., full-body images with minimal occlusions, or well-calibrated cross-view captures), UP2You directly processes raw, unstructured photographs, which may vary significantly in pose, viewpoint, cropping, and occlusion. Instead of compressing data into tokens for slow online text-to-3D optimization, we introduce a data rectifier paradigm that efficiently converts unconstrained inputs into clean, orthogonal multi-view images in a single forward pass within seconds, simplifying the 3D reconstruction. Central to UP2You is a pose-correlated feature aggregation module (PCFA), that selectively fuses information from multiple reference images w.r.t. target poses, enabling better identity preservation and nearly constant memory footprint, with more observations. We also introduce a perceiver-based multi-reference shape predictor, removing the need for pre-captured body templates. Extensive experiments on 4D-Dress, PuzzleIOI, and in-the-wild captures demonstrate that UP2You consistently surpasses previous methods in both geometric accuracy (Chamfer-15%, P2S-18% on PuzzleIOI) and texture fidelity (PSNR-21%, LPIPS-46% on 4D-Dress). UP2You is efficient (1.5 minutes per person), and versatile (supports arbitrary pose control, and training-free multi-garment 3D virtual try-on), making it practical for real-world scenarios where humans are casually captured. Both models and code will be released to facilitate future research on this underexplored task. Project Page: https://zcai0612.github.io/UP2You

UP2You: Snelle reconstructie van jezelf uit ongebreidelde fotocollecties

UP2You: Fast Reconstruction of Yourself from Unconstrained Photo Collections

Samenvatting

Support