Negatieve token samenvoeging: Begeleiding van vijandige kenmerken op basis van afbeeldingen

Samenvatting

Tekstgebaseerde adversariële begeleiding met een negatieve prompt is naar voren gekomen als een veelgebruikte benadering om de outputkenmerken weg te duwen van ongewenste concepten. Hoewel nuttig, kan het uitvoeren van adversariële begeleiding met alleen tekst onvoldoende zijn om complexe visuele concepten vast te leggen en ongewenste visuele elementen zoals auteursrechtelijk beschermde personages te vermijden. In dit artikel verkennen we voor het eerst een alternatieve modaliteit in deze richting door adversariële begeleiding rechtstreeks uit te voeren met behulp van visuele kenmerken van een referentiebeeld of andere beelden in een batch. In het bijzonder introduceren we negatieve token-samenvoeging (NegToMe), een eenvoudige maar effectieve trainingvrije benadering die adversariële begeleiding uitvoert door selectief overeenkomende semantische kenmerken uit elkaar te duwen (tussen referentie en gegenereerde output) tijdens het omgekeerde diffusieproces. Wanneer gebruikt met andere beelden in dezelfde batch, observeren we dat NegToMe de outputdiversiteit (raciaal, geslacht, visueel) aanzienlijk verhoogt zonder in te boeten aan de kwaliteit van de outputafbeelding. Op vergelijkbare wijze, wanneer gebruikt met betrekking tot een referentie auteursrechtelijk beschermd bezit, helpt NegToMe de visuele gelijkenis met auteursrechtelijk beschermd materiaal met 34,57% te verminderen. NegToMe is eenvoudig te implementeren met slechts enkele regels code, gebruikt slechts marginaal hogere (<4%) inferentietijden en generaliseert naar verschillende diffusiearchitecturen zoals Flux, die niet van nature de ondersteuning van een aparte negatieve prompt ondersteunen. De code is beschikbaar op https://negtome.github.io

English

Text-based adversarial guidance using a negative prompt has emerged as a widely adopted approach to push the output features away from undesired concepts. While useful, performing adversarial guidance using text alone can be insufficient to capture complex visual concepts and avoid undesired visual elements like copyrighted characters. In this paper, for the first time we explore an alternate modality in this direction by performing adversarial guidance directly using visual features from a reference image or other images in a batch. In particular, we introduce negative token merging (NegToMe), a simple but effective training-free approach which performs adversarial guidance by selectively pushing apart matching semantic features (between reference and output generation) during the reverse diffusion process. When used w.r.t. other images in the same batch, we observe that NegToMe significantly increases output diversity (racial, gender, visual) without sacrificing output image quality. Similarly, when used w.r.t. a reference copyrighted asset, NegToMe helps reduce visual similarity with copyrighted content by 34.57%. NegToMe is simple to implement using just few-lines of code, uses only marginally higher (<4%) inference times and generalizes to different diffusion architectures like Flux, which do not natively support the use of a separate negative prompt. Code is available at https://negtome.github.io

Negatieve token samenvoeging: Begeleiding van vijandige kenmerken op basis van afbeeldingen

Negative Token Merging: Image-based Adversarial Feature Guidance

Samenvatting

Support