TryOnCrafter : Libérer les trajectoires de caméra pour un essayage vidéo virtuel réaliste via un proxy d'essayage 4D rendable

Résumé

Bien que l'essayage virtuel vidéo (VVT) ait réalisé des progrès remarquables dans la synthèse de superpositions réalistes de vêtements sur des sujets dynamiques, les paradigmes existants restent fondamentalement limités par une dépendance passive aux trajectoires de la caméra source, ne parvenant pas à offrir la liberté interactive nécessaire à l'exploration omnidirectionnelle des points de vue. Pour remédier à cette limitation, nous définissons une frontière de recherche pionnière : l'essayage virtuel vidéo contrôlable par caméra (CaM-VVT). Contrairement au VVT conventionnel, le CaM-VVT exige non seulement une hallucination de texture indépendante du point de vue, mais aussi une synchronisation structurelle stricte entre la dynamique humaine non rigide et les contextes d'arrière-plan sous des mouvements de caméra arbitraires et non contraints. Pour relever ces défis, nous présentons TryOnCrafter, le premier cadre unifié basé sur DiT spécifiquement conçu pour la tâche CaM-VVT. En s'écartant de la manipulation implicite dans l'espace des pixels, nous introduisons un proxy d'essayage 4D rendable qui découple explicitement le sujet humain de l'environnement. Ceci est réalisé en distillant des a priori d'essayage 2D haute fidélité dans un avatar vêtu basé sur 3DGS, ensuite animé via des séquences SMPL-X et aligné métriquement dans un nuage de points d'arrière-plan reconstruit. Ce proxy établit une base structurelle robuste avec une densité de texture et une intégrité de mouvement supérieures. Notre DiT vidéo ancré sur le proxy exploite cette base structurelle robuste comme ancre géométrique principale, garantissant que les vidéos photoréalistes synthétisées sont strictement contraintes par les trajectoires prescrites et des déformations physiquement plausibles. Grâce à l'évolutivité inhérente du proxy 4D, TryOnCrafter facilite diverses applications aval, notamment la relocalisation humaine, les effets « bullet time » et la visualisation orbitale à 360 degrés.

English

While Video Virtual Try-on (VVT) has achieved remarkable progress in synthesizing realistic garment overlays on dynamic subjects, existing paradigms remains fundamentally constrained by a passive dependency on source camera trajectories, failing to accommodate the requisite interactive freedom for omnidirectional viewpoint exploration. To address this limitation, we define a pioneering research frontier: Camera-controllable Video Virtual Try-on (CaM-VVT). Unlike conventional VVT, CaM-VVT not only necessitates viewpoint-agnostic texture hallucination but also strict structural synchronization between non-rigid human dynamics and background contexts under arbitrary, unconstrained camera movements. To tackle these challenges, we present TryOnCrafter, the first unified DiT-based framework specifically architected for the CaM-VVT task. Departing from implicit pixel-space manipulation, we introduce a Renderable 4D Try-on Proxy that explicitly decouples the human subject from the environment. This is achieved by distilling high-fidelity 2D try-on priors into a clothed 3DGS-based avatar, which is subsequently animated via SMPL-X sequences and metric-aligned into a reconstructed background point cloud. This proxy establishes a robust structural foundation with superior texture density and motion integrity. Our Proxy-Anchored Video DiT leverages this robust structural foundation as a primary geometric anchor, ensuring that the synthesized photorealistic videos are strictly constrained by prescribed trajectories and physically plausible deformations. Benefiting from the inherent editability of the 4D proxy, TryOnCrafter facilitates diverse downstream applications, including human relocalization, ``bullet time'' effects, and 360-degree orbital viewing.