Fusão de Token Negativo: Orientação de Recursos Adversários Baseada em Imagens

Negative Token Merging: Image-based Adversarial Feature Guidance

December 2, 2024

Autores: Jaskirat Singh, Lindsey Li, Weijia Shi, Ranjay Krishna, Yejin Choi, Pang Wei Koh, Michael F. Cohen, Stephen Gould, Liang Zheng, Luke Zettlemoyer

cs.AI

Resumo

A orientação adversarial baseada em texto usando um prompt negativo surgiu como uma abordagem amplamente adotada para afastar as características de saída de conceitos indesejados. Embora útil, realizar orientação adversarial apenas com texto pode ser insuficiente para capturar conceitos visuais complexos e evitar elementos visuais indesejados, como personagens protegidos por direitos autorais. Neste artigo, exploramos, pela primeira vez, uma modalidade alternativa nessa direção, realizando orientação adversarial diretamente usando características visuais de uma imagem de referência ou de outras imagens em um lote. Em particular, introduzimos a fusão de tokens negativos (NegToMe), uma abordagem simples, porém eficaz, sem necessidade de treinamento, que realiza orientação adversarial empurrando seletivamente características semânticas correspondentes (entre referência e geração de saída) durante o processo de difusão reversa. Quando usado em relação a outras imagens no mesmo lote, observamos que o NegToMe aumenta significativamente a diversidade de saída (racial, gênero, visual) sem sacrificar a qualidade da imagem de saída. Da mesma forma, ao ser usado em relação a um ativo protegido por direitos autorais de referência, o NegToMe ajuda a reduzir a similaridade visual com conteúdo protegido por direitos autorais em 34,57%. O NegToMe é simples de implementar usando apenas algumas linhas de código, aumenta apenas marginalmente (<4%) os tempos de inferência e generaliza para diferentes arquiteturas de difusão como o Flux, que não suportam nativamente o uso de um prompt negativo separado. O código está disponível em https://negtome.github.io

English

Text-based adversarial guidance using a negative prompt has emerged as a widely adopted approach to push the output features away from undesired concepts. While useful, performing adversarial guidance using text alone can be insufficient to capture complex visual concepts and avoid undesired visual elements like copyrighted characters. In this paper, for the first time we explore an alternate modality in this direction by performing adversarial guidance directly using visual features from a reference image or other images in a batch. In particular, we introduce negative token merging (NegToMe), a simple but effective training-free approach which performs adversarial guidance by selectively pushing apart matching semantic features (between reference and output generation) during the reverse diffusion process. When used w.r.t. other images in the same batch, we observe that NegToMe significantly increases output diversity (racial, gender, visual) without sacrificing output image quality. Similarly, when used w.r.t. a reference copyrighted asset, NegToMe helps reduce visual similarity with copyrighted content by 34.57%. NegToMe is simple to implement using just few-lines of code, uses only marginally higher (<4%) inference times and generalizes to different diffusion architectures like Flux, which do not natively support the use of a separate negative prompt. Code is available at https://negtome.github.io