DreamVVT: Освоение реалистичной виртуальной примерки видео в естественных условиях с помощью поэтапной трансформерной архитектуры на основе диффузии

DreamVVT: Mastering Realistic Video Virtual Try-On in the Wild via a Stage-Wise Diffusion Transformer Framework

August 4, 2025

Авторы: Tongchun Zuo, Zaiyu Huang, Shuliang Ning, Ente Lin, Chao Liang, Zerong Zheng, Jianwen Jiang, Yuan Zhang, Mingyuan Gao, Xin Dong

cs.AI

Аннотация

Технология виртуальной примерки видео (Video Virtual Try-On, VVT) привлекает значительный академический интерес благодаря своим перспективным применениям в электронной коммерции, рекламе и развлечениях. Однако большинство существующих сквозных методов сильно зависят от ограниченных парных наборов данных, ориентированных на одежду, и не способны эффективно использовать априорные знания современных визуальных моделей и входных данных на этапе тестирования. Это затрудняет точное сохранение деталей одежды и поддержание временной согласованности в неограниченных сценариях. Для решения этих проблем мы предлагаем DreamVVT — тщательно разработанную двухэтапную структуру, основанную на диффузионных трансформерах (DiTs), которая изначально способна использовать разнообразные непарные данные, ориентированные на человека, для повышения адаптируемости в реальных условиях. Чтобы дополнительно использовать априорные знания предобученных моделей и входных данных на этапе тестирования, на первом этапе мы выбираем репрезентативные кадры из входного видео и применяем модель многофреймовой примерки, интегрированную с визуально-языковой моделью (VLM), для синтеза высококачественных и семантически согласованных изображений примерки ключевых кадров. Эти изображения служат дополнительным руководством по внешнему виду для последующей генерации видео. На втором этапе из входного контента извлекаются карты скелета вместе с детализированными описаниями движения и внешнего вида, которые вместе с изображениями примерки ключевых кадров подаются в предобученную модель генерации видео, усиленную адаптерами LoRA. Это обеспечивает долгосрочную временную согласованность для неизвестных областей и позволяет создавать высокоправдоподобные динамические движения. Многочисленные количественные и качественные эксперименты демонстрируют, что DreamVVT превосходит существующие методы в сохранении деталей одежды и временной стабильности в реальных сценариях. Наш проект доступен по адресу: https://virtu-lab.github.io/

English

Video virtual try-on (VVT) technology has garnered considerable academic interest owing to its promising applications in e-commerce advertising and entertainment. However, most existing end-to-end methods rely heavily on scarce paired garment-centric datasets and fail to effectively leverage priors of advanced visual models and test-time inputs, making it challenging to accurately preserve fine-grained garment details and maintain temporal consistency in unconstrained scenarios. To address these challenges, we propose DreamVVT, a carefully designed two-stage framework built upon Diffusion Transformers (DiTs), which is inherently capable of leveraging diverse unpaired human-centric data to enhance adaptability in real-world scenarios. To further leverage prior knowledge from pretrained models and test-time inputs, in the first stage, we sample representative frames from the input video and utilize a multi-frame try-on model integrated with a vision-language model (VLM), to synthesize high-fidelity and semantically consistent keyframe try-on images. These images serve as complementary appearance guidance for subsequent video generation. In the second stage, skeleton maps together with fine-grained motion and appearance descriptions are extracted from the input content, and these along with the keyframe try-on images are then fed into a pretrained video generation model enhanced with LoRA adapters. This ensures long-term temporal coherence for unseen regions and enables highly plausible dynamic motions. Extensive quantitative and qualitative experiments demonstrate that DreamVVT surpasses existing methods in preserving detailed garment content and temporal stability in real-world scenarios. Our project page https://virtu-lab.github.io/