Negatieve token samenvoeging: Begeleiding van vijandige kenmerken op basis van afbeeldingen
Negative Token Merging: Image-based Adversarial Feature Guidance
December 2, 2024
Auteurs: Jaskirat Singh, Lindsey Li, Weijia Shi, Ranjay Krishna, Yejin Choi, Pang Wei Koh, Michael F. Cohen, Stephen Gould, Liang Zheng, Luke Zettlemoyer
cs.AI
Samenvatting
Tekstgebaseerde adversariële begeleiding met een negatieve prompt is naar voren gekomen als een veelgebruikte benadering om de outputkenmerken weg te duwen van ongewenste concepten. Hoewel nuttig, kan het uitvoeren van adversariële begeleiding met alleen tekst onvoldoende zijn om complexe visuele concepten vast te leggen en ongewenste visuele elementen zoals auteursrechtelijk beschermde personages te vermijden. In dit artikel verkennen we voor het eerst een alternatieve modaliteit in deze richting door adversariële begeleiding rechtstreeks uit te voeren met behulp van visuele kenmerken van een referentiebeeld of andere beelden in een batch. In het bijzonder introduceren we negatieve token-samenvoeging (NegToMe), een eenvoudige maar effectieve trainingvrije benadering die adversariële begeleiding uitvoert door selectief overeenkomende semantische kenmerken uit elkaar te duwen (tussen referentie en gegenereerde output) tijdens het omgekeerde diffusieproces. Wanneer gebruikt met andere beelden in dezelfde batch, observeren we dat NegToMe de outputdiversiteit (raciaal, geslacht, visueel) aanzienlijk verhoogt zonder in te boeten aan de kwaliteit van de outputafbeelding. Op vergelijkbare wijze, wanneer gebruikt met betrekking tot een referentie auteursrechtelijk beschermd bezit, helpt NegToMe de visuele gelijkenis met auteursrechtelijk beschermd materiaal met 34,57% te verminderen. NegToMe is eenvoudig te implementeren met slechts enkele regels code, gebruikt slechts marginaal hogere (<4%) inferentietijden en generaliseert naar verschillende diffusiearchitecturen zoals Flux, die niet van nature de ondersteuning van een aparte negatieve prompt ondersteunen. De code is beschikbaar op https://negtome.github.io
English
Text-based adversarial guidance using a negative prompt has emerged as a
widely adopted approach to push the output features away from undesired
concepts. While useful, performing adversarial guidance using text alone can be
insufficient to capture complex visual concepts and avoid undesired visual
elements like copyrighted characters. In this paper, for the first time we
explore an alternate modality in this direction by performing adversarial
guidance directly using visual features from a reference image or other images
in a batch. In particular, we introduce negative token merging (NegToMe), a
simple but effective training-free approach which performs adversarial guidance
by selectively pushing apart matching semantic features (between reference and
output generation) during the reverse diffusion process. When used w.r.t. other
images in the same batch, we observe that NegToMe significantly increases
output diversity (racial, gender, visual) without sacrificing output image
quality. Similarly, when used w.r.t. a reference copyrighted asset, NegToMe
helps reduce visual similarity with copyrighted content by 34.57%. NegToMe is
simple to implement using just few-lines of code, uses only marginally higher
(<4%) inference times and generalizes to different diffusion architectures like
Flux, which do not natively support the use of a separate negative prompt. Code
is available at https://negtome.github.io