Negative Token Merging: Bildbasierte adversarielle Merkmalsführung

Negative Token Merging: Image-based Adversarial Feature Guidance

December 2, 2024

Autoren: Jaskirat Singh, Lindsey Li, Weijia Shi, Ranjay Krishna, Yejin Choi, Pang Wei Koh, Michael F. Cohen, Stephen Gould, Liang Zheng, Luke Zettlemoyer

cs.AI

Zusammenfassung

Die textbasierte adversarielle Führung unter Verwendung eines negativen Stichworts hat sich als weit verbreiteter Ansatz etabliert, um die Ausgabemerkmale von unerwünschten Konzepten abzulenken. Obwohl nützlich, kann die Durchführung der adversariellen Führung allein mit Text unzureichend sein, um komplexe visuelle Konzepte zu erfassen und unerwünschte visuelle Elemente wie urheberrechtlich geschützte Charaktere zu vermeiden. In diesem Papier erkunden wir erstmals eine alternative Modalität in diese Richtung, indem wir die adversarielle Führung direkt unter Verwendung visueller Merkmale aus einem Referenzbild oder anderen Bildern in einer Charge durchführen. Insbesondere führen wir das negative Token-Merging (NegToMe) ein, einen einfachen, aber effektiven trainingsfreien Ansatz, der die adversarielle Führung durch selektives Auseinanderdrängen übereinstimmender semantischer Merkmale (zwischen Referenz und Ausgabegenerierung) während des umgekehrten Diffusionsprozesses durchführt. Wenn es in Bezug auf andere Bilder in derselben Charge verwendet wird, beobachten wir, dass NegToMe die Ausgabenvielfalt (rassisch, geschlechtsspezifisch, visuell) signifikant erhöht, ohne die Bildqualität zu beeinträchtigen. Ebenso hilft NegToMe, wenn es in Bezug auf ein urheberrechtlich geschütztes Referenzmaterial verwendet wird, die visuelle Ähnlichkeit mit urheberrechtlich geschütztem Inhalt um 34,57% zu reduzieren. NegToMe ist einfach zu implementieren, indem nur wenige Zeilen Code verwendet werden, benötigt nur marginal höhere (<4%) Inferenzzeiten und generalisiert auf verschiedene Diffusionsarchitekturen wie Flux, die die Verwendung eines separaten negativen Stichworts nicht nativ unterstützen. Der Code ist unter https://negtome.github.io verfügbar.

English

Text-based adversarial guidance using a negative prompt has emerged as a widely adopted approach to push the output features away from undesired concepts. While useful, performing adversarial guidance using text alone can be insufficient to capture complex visual concepts and avoid undesired visual elements like copyrighted characters. In this paper, for the first time we explore an alternate modality in this direction by performing adversarial guidance directly using visual features from a reference image or other images in a batch. In particular, we introduce negative token merging (NegToMe), a simple but effective training-free approach which performs adversarial guidance by selectively pushing apart matching semantic features (between reference and output generation) during the reverse diffusion process. When used w.r.t. other images in the same batch, we observe that NegToMe significantly increases output diversity (racial, gender, visual) without sacrificing output image quality. Similarly, when used w.r.t. a reference copyrighted asset, NegToMe helps reduce visual similarity with copyrighted content by 34.57%. NegToMe is simple to implement using just few-lines of code, uses only marginally higher (<4%) inference times and generalizes to different diffusion architectures like Flux, which do not natively support the use of a separate negative prompt. Code is available at https://negtome.github.io