3DV-TON: Текстурированная 3D-направленная согласованная примерка видео с использованием моделей диффузии

3DV-TON: Textured 3D-Guided Consistent Video Try-on via Diffusion Models

April 24, 2025

Авторы: Min Wei, Chaohui Yu, Jingkai Zhou, Fan Wang

cs.AI

Аннотация

Примерка одежды на видео заменяет одежду в видеороликах на целевые предметы гардероба. Существующие методы сталкиваются с трудностями при генерации высококачественных и временно согласованных результатов при работе со сложными узорами одежды и разнообразными позами тела. Мы представляем 3DV-TON — новый фреймворк на основе диффузии для создания высококачественных и временно согласованных результатов примерки на видео. Наш подход использует сгенерированные анимируемые текстурированные 3D-меши в качестве явного пофреймового руководства, что позволяет смягчить проблему чрезмерного внимания моделей к точности внешнего вида в ущерб согласованности движений. Это достигается за счет возможности прямого обращения к согласованным движениям текстуры одежды на протяжении видеопоследовательностей. Предложенный метод включает адаптивный процесс генерации динамического 3D-руководства: (1) выбор ключевого кадра для начальной примерки на 2D-изображении, за которым следует (2) реконструкция и анимация текстурированного 3D-меша, синхронизированного с позами из оригинального видео. Мы также вводим надежную стратегию прямоугольного маскирования, которая успешно устраняет распространение артефактов, вызванных утечкой информации об одежде во время динамических движений человека и одежды. Для продвижения исследований в области примерки на видео мы представляем HR-VVT — эталонный набор данных высокого разрешения, содержащий 130 видеороликов с разнообразными типами одежды и сценариями. Количественные и качественные результаты демонстрируют превосходство нашего метода над существующими. Страница проекта доступна по ссылке: https://2y7c3.github.io/3DV-TON/

English

Video try-on replaces clothing in videos with target garments. Existing methods struggle to generate high-quality and temporally consistent results when handling complex clothing patterns and diverse body poses. We present 3DV-TON, a novel diffusion-based framework for generating high-fidelity and temporally consistent video try-on results. Our approach employs generated animatable textured 3D meshes as explicit frame-level guidance, alleviating the issue of models over-focusing on appearance fidelity at the expanse of motion coherence. This is achieved by enabling direct reference to consistent garment texture movements throughout video sequences. The proposed method features an adaptive pipeline for generating dynamic 3D guidance: (1) selecting a keyframe for initial 2D image try-on, followed by (2) reconstructing and animating a textured 3D mesh synchronized with original video poses. We further introduce a robust rectangular masking strategy that successfully mitigates artifact propagation caused by leaking clothing information during dynamic human and garment movements. To advance video try-on research, we introduce HR-VVT, a high-resolution benchmark dataset containing 130 videos with diverse clothing types and scenarios. Quantitative and qualitative results demonstrate our superior performance over existing methods. The project page is at this link https://2y7c3.github.io/3DV-TON/