TryOnCrafter: Liberando Trajetórias de Câmera para Provador Virtual Realista em Vídeo por meio de um Proxy de Prova 4D Renderizável

Resumo

Embora o Video Virtual Try-on (VVT) tenha alcançado progressos notáveis na síntese de sobreposições realistas de vestuário em sujeitos dinâmicos, os paradigmas existentes permanecem fundamentalmente limitados por uma dependência passiva das trajetórias da câmara de origem, não conseguindo acomodar a liberdade interativa necessária para a exploração omnidirecional de pontos de vista. Para colmatar esta limitação, definimos uma fronteira de investigação pioneira: Video Virtual Try-on Controlável por Câmara (CaM-VVT). Ao contrário do VVT convencional, o CaM-VVT não só exige alucinação de texturas independente do ponto de vista, mas também uma sincronização estrutural rigorosa entre as dinâmicas humanas não rígidas e os contextos de fundo sob movimentos de câmara arbitrários e sem restrições. Para enfrentar estes desafios, apresentamos o TryOnCrafter, o primeiro quadro unificado baseado em DiT especificamente arquitetado para a tarefa de CaM-VVT. Afastando-nos da manipulação implícita no espaço de pixéis, introduzimos um Proxy de Try-on 4D Renderizável que separa explicitamente o sujeito humano do ambiente. Isto é alcançado destilando priors de try-on 2D de alta fidelidade num avatar vestido baseado em 3DGS, que é subsequentemente animado através de sequências SMPL-X e alinhado metricamente numa nuvem de pontos de fundo reconstruída. Este proxy estabelece uma base estrutural robusta com densidade de textura e integridade de movimento superiores. O nosso Video DiT Ancorado por Proxy aproveita esta base estrutural robusta como uma âncora geométrica primária, garantindo que os vídeos fotorrealistas sintetizados são estritamente restringidos por trajetórias prescritas e deformações fisicamente plausíveis. Beneficiando da editabilidade inerente do proxy 4D, o TryOnCrafter facilita diversas aplicações downstream, incluindo relocalização humana, efeitos "bullet time" e visão orbital de 360 graus.

English

While Video Virtual Try-on (VVT) has achieved remarkable progress in synthesizing realistic garment overlays on dynamic subjects, existing paradigms remains fundamentally constrained by a passive dependency on source camera trajectories, failing to accommodate the requisite interactive freedom for omnidirectional viewpoint exploration. To address this limitation, we define a pioneering research frontier: Camera-controllable Video Virtual Try-on (CaM-VVT). Unlike conventional VVT, CaM-VVT not only necessitates viewpoint-agnostic texture hallucination but also strict structural synchronization between non-rigid human dynamics and background contexts under arbitrary, unconstrained camera movements. To tackle these challenges, we present TryOnCrafter, the first unified DiT-based framework specifically architected for the CaM-VVT task. Departing from implicit pixel-space manipulation, we introduce a Renderable 4D Try-on Proxy that explicitly decouples the human subject from the environment. This is achieved by distilling high-fidelity 2D try-on priors into a clothed 3DGS-based avatar, which is subsequently animated via SMPL-X sequences and metric-aligned into a reconstructed background point cloud. This proxy establishes a robust structural foundation with superior texture density and motion integrity. Our Proxy-Anchored Video DiT leverages this robust structural foundation as a primary geometric anchor, ensuring that the synthesized photorealistic videos are strictly constrained by prescribed trajectories and physically plausible deformations. Benefiting from the inherent editability of the 4D proxy, TryOnCrafter facilitates diverse downstream applications, including human relocalization, ``bullet time'' effects, and 360-degree orbital viewing.