BRAT: Bonus oRthogonales Token für Architekturagnostische Textumkehr

BRAT: Bonus oRthogonAl Token for Architecture Agnostic Textual Inversion

August 8, 2024

Autoren: James Baker

cs.AI

Zusammenfassung

Textuelle Inversion bleibt eine beliebte Methode zur Personalisierung von Diffusionsmodellen, um Modellen neue Themen und Stile beizubringen. Wir stellen fest, dass die textuelle Inversion unter Verwendung von Alternativen zum UNet noch nicht ausreichend erforscht wurde, und experimentieren mit der textuellen Inversion mit einem Vision-Transformer. Wir streben auch an, die textuelle Inversion mithilfe einer Strategie zu optimieren, die keine explizite Verwendung des UNet und seiner eigenwilligen Schichten erfordert, daher fügen wir Bonus-Token hinzu und erzwingen Orthogonalität. Wir stellen fest, dass die Verwendung des Bonus-Tokens die Einhaltung der Quellbilder verbessert und die Verwendung des Vision-Transformers die Einhaltung der Anweisung verbessert. Der Code ist verfügbar unter https://github.com/jamesBaker361/tex_inv_plus.

English

Textual Inversion remains a popular method for personalizing diffusion models, in order to teach models new subjects and styles. We note that textual inversion has been underexplored using alternatives to the UNet, and experiment with textual inversion with a vision transformer. We also seek to optimize textual inversion using a strategy that does not require explicit use of the UNet and its idiosyncratic layers, so we add bonus tokens and enforce orthogonality. We find the use of the bonus token improves adherence to the source images and the use of the vision transformer improves adherence to the prompt. Code is available at https://github.com/jamesBaker361/tex_inv_plus.