BRAT: Token Bonus Ortogonale per Inversione Testuale Indipendente dall'Architettura

BRAT: Bonus oRthogonAl Token for Architecture Agnostic Textual Inversion

August 8, 2024

Autori: James Baker

cs.AI

Abstract

L'inversione testuale rimane un metodo popolare per personalizzare i modelli di diffusione, al fine di insegnare ai modelli nuovi soggetti e stili. Notiamo che l'inversione testuale è stata poco esplorata utilizzando alternative all'UNet, e sperimentiamo l'inversione testuale con un vision transformer. Cerchiamo inoltre di ottimizzare l'inversione testuale utilizzando una strategia che non richiede l'uso esplicito dell'UNet e dei suoi strati idiosincratici, quindi aggiungiamo token bonus e imponiamo l'ortogonalità. Troviamo che l'uso del token bonus migliora l'aderenza alle immagini sorgente e l'uso del vision transformer migliora l'aderenza al prompt. Il codice è disponibile all'indirizzo https://github.com/jamesBaker361/tex_inv_plus.

English

Textual Inversion remains a popular method for personalizing diffusion models, in order to teach models new subjects and styles. We note that textual inversion has been underexplored using alternatives to the UNet, and experiment with textual inversion with a vision transformer. We also seek to optimize textual inversion using a strategy that does not require explicit use of the UNet and its idiosyncratic layers, so we add bonus tokens and enforce orthogonality. We find the use of the bonus token improves adherence to the source images and the use of the vision transformer improves adherence to the prompt. Code is available at https://github.com/jamesBaker361/tex_inv_plus.