TryOnCrafter: Liberando trayectorias de cámara para una prueba virtual de video realista mediante un proxy de prueba 4D renderizable

Resumen

Si bien el Video Virtual Try-on (VVT) ha logrado un progreso notable en la síntesis de superposiciones realistas de prendas sobre sujetos dinámicos, los paradigmas existentes siguen fundamentalmente limitados por una dependencia pasiva de las trayectorias de cámara de origen, sin poder proporcionar la libertad interactiva necesaria para la exploración omnidireccional de puntos de vista. Para abordar esta limitación, definimos una frontera de investigación pionera: el Video Virtual Try-on Controlable por Cámara (CaM-VVT). A diferencia del VVT convencional, el CaM-VVT no solo requiere una alucinación de textura independiente del punto de vista, sino también una estricta sincronización estructural entre la dinámica humana no rígida y los contextos de fondo bajo movimientos de cámara arbitrarios y sin restricciones. Para afrontar estos desafíos, presentamos TryOnCrafter, el primer marco unificado basado en DiT específicamente diseñado para la tarea CaM-VVT. Alejándonos de la manipulación implícita en el espacio de píxeles, introducimos un Proxy de Prueba 4D Renderizable que desacopla explícitamente al sujeto humano del entorno. Esto se logra destilando prioridades de prueba 2D de alta fidelidad en un avatar vestido basado en 3DGS, que posteriormente se anima mediante secuencias SMPL-X y se alinea métricamente en una nube de puntos de fondo reconstruida. Este proxy establece una base estructural sólida con una densidad de textura superior e integridad de movimiento. Nuestro Video DiT Anclado al Proxy aprovecha esta base estructural robusta como ancla geométrica principal, asegurando que los videos fotorrealistas sintetizados estén estrictamente restringidos por las trayectorias prescritas y las deformaciones físicamente plausibles. Beneficiándose de la editabilidad inherente del proxy 4D, TryOnCrafter facilita diversas aplicaciones posteriores, que incluyen la reubicación humana, los efectos de "tiempo bala" y la visualización orbital de 360 grados.

English

While Video Virtual Try-on (VVT) has achieved remarkable progress in synthesizing realistic garment overlays on dynamic subjects, existing paradigms remains fundamentally constrained by a passive dependency on source camera trajectories, failing to accommodate the requisite interactive freedom for omnidirectional viewpoint exploration. To address this limitation, we define a pioneering research frontier: Camera-controllable Video Virtual Try-on (CaM-VVT). Unlike conventional VVT, CaM-VVT not only necessitates viewpoint-agnostic texture hallucination but also strict structural synchronization between non-rigid human dynamics and background contexts under arbitrary, unconstrained camera movements. To tackle these challenges, we present TryOnCrafter, the first unified DiT-based framework specifically architected for the CaM-VVT task. Departing from implicit pixel-space manipulation, we introduce a Renderable 4D Try-on Proxy that explicitly decouples the human subject from the environment. This is achieved by distilling high-fidelity 2D try-on priors into a clothed 3DGS-based avatar, which is subsequently animated via SMPL-X sequences and metric-aligned into a reconstructed background point cloud. This proxy establishes a robust structural foundation with superior texture density and motion integrity. Our Proxy-Anchored Video DiT leverages this robust structural foundation as a primary geometric anchor, ensuring that the synthesized photorealistic videos are strictly constrained by prescribed trajectories and physically plausible deformations. Benefiting from the inherent editability of the 4D proxy, TryOnCrafter facilitates diverse downstream applications, including human relocalization, ``bullet time'' effects, and 360-degree orbital viewing.