BRAT: Бонусный ортогональный токен для архитектурно-агностического текстового инвертирования.

BRAT: Bonus oRthogonAl Token for Architecture Agnostic Textual Inversion

August 8, 2024

Авторы: James Baker

cs.AI

Аннотация

Текстовая инверсия остается популярным методом для персонализации моделей диффузии с целью обучения моделей новым темам и стилям. Мы отмечаем, что текстовая инверсия была мало исследована с использованием альтернатив UNet, и проводим эксперименты с текстовой инверсией с использованием видео-трансформера. Мы также стремимся оптимизировать текстовую инверсию с использованием стратегии, которая не требует явного использования UNet и его идиосинкратических слоев, поэтому мы добавляем бонусные токены и обеспечиваем ортогональность. Мы обнаружили, что использование бонусного токена улучшает соблюдение исходных изображений, а использование видео-трансформера улучшает соблюдение запроса. Код доступен по ссылке https://github.com/jamesBaker361/tex_inv_plus.

English

Textual Inversion remains a popular method for personalizing diffusion models, in order to teach models new subjects and styles. We note that textual inversion has been underexplored using alternatives to the UNet, and experiment with textual inversion with a vision transformer. We also seek to optimize textual inversion using a strategy that does not require explicit use of the UNet and its idiosyncratic layers, so we add bonus tokens and enforce orthogonality. We find the use of the bonus token improves adherence to the source images and the use of the vision transformer improves adherence to the prompt. Code is available at https://github.com/jamesBaker361/tex_inv_plus.