UP2You: Reconstrucción Rápida de Ti Mismo a Partir de Colecciones de Fotos No Restringidas

UP2You: Fast Reconstruction of Yourself from Unconstrained Photo Collections

September 29, 2025

Autores: Zeyu Cai, Ziyang Li, Xiaoben Li, Boqian Li, Zeyu Wang, Zhenyu Zhang, Yuliang Xiu

cs.AI

Resumen

Presentamos UP2You, la primera solución sin ajustes para la reconstrucción de retratos 3D vestidos de alta fidelidad a partir de fotografías 2D extremadamente no restringidas capturadas en entornos naturales. A diferencia de enfoques anteriores que requieren entradas "limpias" (por ejemplo, imágenes de cuerpo completo con oclusiones mínimas o capturas calibradas de múltiples vistas), UP2You procesa directamente fotografías crudas y no estructuradas, que pueden variar significativamente en pose, ángulo de visión, recorte y oclusión. En lugar de comprimir los datos en tokens para una lenta optimización en línea de texto a 3D, introducimos un paradigma de rectificación de datos que convierte eficientemente entradas no restringidas en imágenes limpias y ortogonales de múltiples vistas en un solo paso hacia adelante en cuestión de segundos, simplificando la reconstrucción 3D. El núcleo de UP2You es un módulo de agregación de características correlacionadas con la pose (PCFA), que fusiona selectivamente información de múltiples imágenes de referencia con respecto a las poses objetivo, permitiendo una mejor preservación de la identidad y un uso de memoria casi constante, incluso con más observaciones. También presentamos un predictor de forma basado en múltiples referencias y en un percibidor, eliminando la necesidad de plantillas corporales pre-capturadas. Experimentos exhaustivos en 4D-Dress, PuzzleIOI y capturas en entornos naturales demuestran que UP2You supera consistentemente a métodos anteriores tanto en precisión geométrica (Chamfer-15%, P2S-18% en PuzzleIOI) como en fidelidad de textura (PSNR-21%, LPIPS-46% en 4D-Dress). UP2You es eficiente (1.5 minutos por persona) y versátil (admite control de pose arbitrario y pruebas virtuales 3D de múltiples prendas sin entrenamiento), lo que lo hace práctico para escenarios del mundo real donde las personas son capturadas de manera casual. Tanto los modelos como el código serán liberados para facilitar futuras investigaciones en esta tarea poco explorada. Página del proyecto: https://zcai0612.github.io/UP2You.

English

We present UP2You, the first tuning-free solution for reconstructing high-fidelity 3D clothed portraits from extremely unconstrained in-the-wild 2D photos. Unlike previous approaches that require "clean" inputs (e.g., full-body images with minimal occlusions, or well-calibrated cross-view captures), UP2You directly processes raw, unstructured photographs, which may vary significantly in pose, viewpoint, cropping, and occlusion. Instead of compressing data into tokens for slow online text-to-3D optimization, we introduce a data rectifier paradigm that efficiently converts unconstrained inputs into clean, orthogonal multi-view images in a single forward pass within seconds, simplifying the 3D reconstruction. Central to UP2You is a pose-correlated feature aggregation module (PCFA), that selectively fuses information from multiple reference images w.r.t. target poses, enabling better identity preservation and nearly constant memory footprint, with more observations. We also introduce a perceiver-based multi-reference shape predictor, removing the need for pre-captured body templates. Extensive experiments on 4D-Dress, PuzzleIOI, and in-the-wild captures demonstrate that UP2You consistently surpasses previous methods in both geometric accuracy (Chamfer-15%, P2S-18% on PuzzleIOI) and texture fidelity (PSNR-21%, LPIPS-46% on 4D-Dress). UP2You is efficient (1.5 minutes per person), and versatile (supports arbitrary pose control, and training-free multi-garment 3D virtual try-on), making it practical for real-world scenarios where humans are casually captured. Both models and code will be released to facilitate future research on this underexplored task. Project Page: https://zcai0612.github.io/UP2You