Voost: Унифицированный и масштабируемый диффузионный трансформер для двунаправленной виртуальной примерки и снятия одежды

Voost: A Unified and Scalable Diffusion Transformer for Bidirectional Virtual Try-On and Try-Off

August 6, 2025

Авторы: Seungyong Lee, Jeong-gi Kwak

cs.AI

Аннотация

Виртуальная примерка ставит своей целью синтезировать реалистичное изображение человека в целевой одежде, однако точное моделирование соответствия между одеждой и телом остается сложной задачей, особенно при изменении позы и внешнего вида. В данной статье мы представляем Voost — унифицированную и масштабируемую структуру, которая совместно обучает виртуальную примерку и снятие одежды с использованием единого диффузионного трансформера. Моделируя обе задачи совместно, Voost позволяет каждой паре "одежда-человек" контролировать оба направления и поддерживает гибкое управление направлением генерации и категорией одежды, улучшая рассуждения о взаимосвязи одежды и тела без необходимости в специализированных сетях, вспомогательных функциях потерь или дополнительных метках. Кроме того, мы вводим две техники для этапа вывода: масштабирование температуры внимания для устойчивости к изменению разрешения или маски, и самокорректирующую выборку, которая использует двунаправленную согласованность между задачами. Многочисленные эксперименты демонстрируют, что Voost достигает наилучших результатов на бенчмарках как для примерки, так и для снятия одежды, стабильно превосходя сильные базовые модели по точности совмещения, визуальной достоверности и обобщаемости.

English

Virtual try-on aims to synthesize a realistic image of a person wearing a target garment, but accurately modeling garment-body correspondence remains a persistent challenge, especially under pose and appearance variation. In this paper, we propose Voost - a unified and scalable framework that jointly learns virtual try-on and try-off with a single diffusion transformer. By modeling both tasks jointly, Voost enables each garment-person pair to supervise both directions and supports flexible conditioning over generation direction and garment category, enhancing garment-body relational reasoning without task-specific networks, auxiliary losses, or additional labels. In addition, we introduce two inference-time techniques: attention temperature scaling for robustness to resolution or mask variation, and self-corrective sampling that leverages bidirectional consistency between tasks. Extensive experiments demonstrate that Voost achieves state-of-the-art results on both try-on and try-off benchmarks, consistently outperforming strong baselines in alignment accuracy, visual fidelity, and generalization.