TryOnCrafter: Entfesseln von Kameratrajektorien für realistisches virtuelles Video-Anprobieren über einen renderbaren 4D-Anprobier-Proxy

Zusammenfassung

Während das Virtuelle Video-Anprobieren (VVT) bemerkenswerte Fortschritte bei der Synthese realistischer Kleidungsüberlagerungen auf dynamischen Subjekten erzielt hat, bleiben bestehende Paradigmen grundlegend durch eine passive Abhängigkeit von Quellkameratrajektorien eingeschränkt, was die erforderliche interaktive Freiheit zur allseitigen Blickpunkterkundung nicht ermöglicht. Um diese Einschränkung zu beheben, definieren wir eine bahnbrechende Forschungsgrenze: das Kamera-steuerbare Virtuelle Video-Anprobieren (CaM-VVT). Im Gegensatz zu herkömmlichem VVT erfordert CaM-VVT nicht nur blickwinkelunabhängige Texture-Halluzination, sondern auch eine strenge strukturelle Synchronisation zwischen nicht-starren menschlichen Dynamiken und Hintergrundkontexten unter beliebigen, uneingeschränkten Kamerabewegungen. Um diese Herausforderungen zu bewältigen, präsentieren wir TryOnCrafter, das erste einheitliche DiT-basierte Framework, das speziell für die CaM-VVT-Aufgabe entwickelt wurde. Abweichend von impliziten Pixelraum-Manipulationen führen wir einen renderbaren 4D-Anprobier-Proxy ein, der das menschliche Subjekt explizit von der Umgebung entkoppelt. Dies wird erreicht, indem hochgetreue 2D-Anprobier-Priors in einen bekleideten, auf 3DGS basierenden Avatar destilliert werden, der anschließend über SMPL-X-Sequenzen animiert und metrisch ausgerichtet in eine rekonstruierte Hintergrundpunktwolke eingefügt wird. Dieser Proxy etabliert eine robuste strukturelle Grundlage mit überlegener Texturdichte und Bewegungsintegrität. Unser Proxy-verankerter Video-DiT nutzt diese robuste strukturelle Grundlage als primären geometrischen Anker und stellt sicher, dass die synthetisierten fotorealistischen Videos streng durch vorgeschriebene Trajektorien und physikalisch plausible Verformungen eingeschränkt sind. Dank der inhärenten Editierbarkeit des 4D-Proxys ermöglicht TryOnCrafter vielfältige nachgelagerte Anwendungen, darunter die menschliche Relokalisierung, "Bullet-Time"-Effekte und eine 360-Grad-Orbitalansicht.

English

While Video Virtual Try-on (VVT) has achieved remarkable progress in synthesizing realistic garment overlays on dynamic subjects, existing paradigms remains fundamentally constrained by a passive dependency on source camera trajectories, failing to accommodate the requisite interactive freedom for omnidirectional viewpoint exploration. To address this limitation, we define a pioneering research frontier: Camera-controllable Video Virtual Try-on (CaM-VVT). Unlike conventional VVT, CaM-VVT not only necessitates viewpoint-agnostic texture hallucination but also strict structural synchronization between non-rigid human dynamics and background contexts under arbitrary, unconstrained camera movements. To tackle these challenges, we present TryOnCrafter, the first unified DiT-based framework specifically architected for the CaM-VVT task. Departing from implicit pixel-space manipulation, we introduce a Renderable 4D Try-on Proxy that explicitly decouples the human subject from the environment. This is achieved by distilling high-fidelity 2D try-on priors into a clothed 3DGS-based avatar, which is subsequently animated via SMPL-X sequences and metric-aligned into a reconstructed background point cloud. This proxy establishes a robust structural foundation with superior texture density and motion integrity. Our Proxy-Anchored Video DiT leverages this robust structural foundation as a primary geometric anchor, ensuring that the synthesized photorealistic videos are strictly constrained by prescribed trajectories and physically plausible deformations. Benefiting from the inherent editability of the 4D proxy, TryOnCrafter facilitates diverse downstream applications, including human relocalization, ``bullet time'' effects, and 360-degree orbital viewing.