Vision Bridge Transformer в масштабе

Аннотация

Мы представляем Vision Bridge Transformer (ViBT) — крупномасштабную реализацию моделей броуновского моста, предназначенную для условной генерации. В отличие от традиционных диффузионных моделей, преобразующих шум в данные, модели моста непосредственно описывают траекторию между входными и выходными данными, создавая эффективную парадигму преобразования «данные-в-данные». Масштабировав эти модели до 20 млрд и 1,3 млрд параметров, мы демонстрируем их эффективность для задач трансляции изображений и видео. Для поддержки такого масштаба мы используем архитектуру трансформера и предлагаем стабилизированный по дисперсии целевой функционал согласования скоростей для устойчивого обучения. В совокупности эти достижения подчеркивают потенциал масштабирования моделей моста для редактирования изображений на основе инструкций и сложного преобразования видео.

English

We introduce Vision Bridge Transformer (ViBT), a large-scale instantiation of Brownian Bridge Models designed for conditional generation. Unlike traditional diffusion models that transform noise into data, Bridge Models directly model the trajectory between inputs and outputs, creating an efficient data-to-data translation paradigm. By scaling these models to 20B and 1.3B parameters, we demonstrate their effectiveness for image and video translation tasks. To support this scale, we adopt a Transformer architecture and propose a variance-stabilized velocity-matching objective for robust training. Together, these advances highlight the power of scaling Bridge Models for instruction-based image editing and complex video translation.

Vision Bridge Transformer в масштабе

Vision Bridge Transformer at Scale

Аннотация

Support