Fusion négative de jetons : Guidage des caractéristiques adverses basé sur l'image

Negative Token Merging: Image-based Adversarial Feature Guidance

December 2, 2024

Auteurs: Jaskirat Singh, Lindsey Li, Weijia Shi, Ranjay Krishna, Yejin Choi, Pang Wei Koh, Michael F. Cohen, Stephen Gould, Liang Zheng, Luke Zettlemoyer

cs.AI

Résumé

L'orientation adversaire basée sur du texte en utilisant une incitation négative s'est imposée comme une approche largement adoptée pour éloigner les caractéristiques de sortie des concepts indésirables. Bien que utile, effectuer une orientation adversaire en se basant uniquement sur du texte peut être insuffisant pour saisir des concepts visuels complexes et éviter des éléments visuels indésirables tels que des personnages protégés par des droits d'auteur. Dans cet article, nous explorons pour la première fois une modalité alternative dans cette direction en effectuant une orientation adversaire directement en utilisant des caractéristiques visuelles issues d'une image de référence ou d'autres images dans un lot. En particulier, nous introduisons la fusion de jetons négatifs (NegToMe), une approche simple mais efficace, sans entraînement, qui effectue une orientation adversaire en écartant sélectivement les caractéristiques sémantiques correspondantes (entre la référence et la génération de sortie) lors du processus de diffusion inverse. Lorsqu'elle est utilisée par rapport à d'autres images dans le même lot, nous observons que NegToMe augmente significativement la diversité des sorties (raciale, de genre, visuelle) sans sacrifier la qualité de l'image de sortie. De même, lorsqu'elle est utilisée par rapport à un actif protégé par des droits d'auteur de référence, NegToMe aide à réduire la similarité visuelle avec le contenu protégé par des droits d'auteur de 34,57%. NegToMe est simple à mettre en œuvre en utilisant seulement quelques lignes de code, utilise des temps d'inférence légèrement plus élevés (<4%) et se généralise à différentes architectures de diffusion comme Flux, qui ne prennent pas en charge nativement l'utilisation d'une incitation négative distincte. Le code est disponible sur https://negtome.github.io

English

Text-based adversarial guidance using a negative prompt has emerged as a widely adopted approach to push the output features away from undesired concepts. While useful, performing adversarial guidance using text alone can be insufficient to capture complex visual concepts and avoid undesired visual elements like copyrighted characters. In this paper, for the first time we explore an alternate modality in this direction by performing adversarial guidance directly using visual features from a reference image or other images in a batch. In particular, we introduce negative token merging (NegToMe), a simple but effective training-free approach which performs adversarial guidance by selectively pushing apart matching semantic features (between reference and output generation) during the reverse diffusion process. When used w.r.t. other images in the same batch, we observe that NegToMe significantly increases output diversity (racial, gender, visual) without sacrificing output image quality. Similarly, when used w.r.t. a reference copyrighted asset, NegToMe helps reduce visual similarity with copyrighted content by 34.57%. NegToMe is simple to implement using just few-lines of code, uses only marginally higher (<4%) inference times and generalizes to different diffusion architectures like Flux, which do not natively support the use of a separate negative prompt. Code is available at https://negtome.github.io