Vision Bridge Transformer im großen Maßstab

papers.abstract

Wir stellen Vision Bridge Transformer (ViBT) vor, eine großskalige Instanziierung von Brownian Bridge Models für die bedingte Generierung. Im Gegensatz zu traditionellen Diffusionsmodellen, die Rauschen in Daten umwandeln, modellieren Bridge Models direkt die Trajektorie zwischen Eingaben und Ausgaben und schaffen so ein effizientes Daten-zu-Daten-Übersetzungsparadigma. Durch die Skalierung dieser Modelle auf 20 Milliarden und 1,3 Milliarden Parameter demonstrieren wir ihre Wirksamkeit für Bild- und Videoübersetzungsaufgaben. Um diese Skalierung zu ermöglichen, adaptieren wir eine Transformer-Architektur und schlagen ein varianzstabilisiertes Velocity-Matching-Ziel für robustes Training vor. Diese Fortschritte unterstreichen gemeinsam das Potenzial skalierter Bridge Models für befehlsbasiertes Bildbearbeiten und komplexe Videoübersetzung.

English

We introduce Vision Bridge Transformer (ViBT), a large-scale instantiation of Brownian Bridge Models designed for conditional generation. Unlike traditional diffusion models that transform noise into data, Bridge Models directly model the trajectory between inputs and outputs, creating an efficient data-to-data translation paradigm. By scaling these models to 20B and 1.3B parameters, we demonstrate their effectiveness for image and video translation tasks. To support this scale, we adopt a Transformer architecture and propose a variance-stabilized velocity-matching objective for robust training. Together, these advances highlight the power of scaling Bridge Models for instruction-based image editing and complex video translation.

Vision Bridge Transformer im großen Maßstab

Vision Bridge Transformer at Scale

papers.abstract

Support