Marca d'água sem treinamento para geração autoregressiva de imagens

Training-Free Watermarking for Autoregressive Image Generation

May 20, 2025

Autores: Yu Tong, Zihao Pan, Shuai Yang, Kaiyang Zhou

cs.AI

Resumo

A marca d'água invisível em imagens pode proteger a propriedade de imagens e prevenir o uso malicioso de modelos generativos visuais. No entanto, os métodos existentes de marca d'água generativa são principalmente projetados para modelos de difusão, enquanto a marca d'água para modelos de geração de imagens autoregressivos permanece amplamente inexplorada. Propomos o IndexMark, uma estrutura de marca d'água sem necessidade de treinamento para modelos de geração de imagens autoregressivos. O IndexMark é inspirado pela propriedade de redundância do codebook: substituir índices gerados autoregressivamente por índices semelhantes produz diferenças visuais insignificantes. O componente central do IndexMark é um método simples, porém eficaz, de correspondência e substituição, que seleciona cuidadosamente tokens de marca d'água do codebook com base na similaridade de tokens e promove o uso de tokens de marca d'água por meio da substituição de tokens, incorporando assim a marca d'água sem afetar a qualidade da imagem. A verificação da marca d'água é realizada calculando a proporção de tokens de marca d'água nas imagens geradas, com a precisão aprimorada por um Index Encoder. Além disso, introduzimos um esquema de validação auxiliar para aumentar a robustez contra ataques de recorte. Experimentos demonstram que o IndexMark alcança desempenho de ponta em termos de qualidade de imagem e precisão de verificação, além de exibir robustez contra várias perturbações, incluindo recorte, ruídos, desfoque gaussiano, apagamento aleatório, variação de cor e compressão JPEG.

English

Invisible image watermarking can protect image ownership and prevent malicious misuse of visual generative models. However, existing generative watermarking methods are mainly designed for diffusion models while watermarking for autoregressive image generation models remains largely underexplored. We propose IndexMark, a training-free watermarking framework for autoregressive image generation models. IndexMark is inspired by the redundancy property of the codebook: replacing autoregressively generated indices with similar indices produces negligible visual differences. The core component in IndexMark is a simple yet effective match-then-replace method, which carefully selects watermark tokens from the codebook based on token similarity, and promotes the use of watermark tokens through token replacement, thereby embedding the watermark without affecting the image quality. Watermark verification is achieved by calculating the proportion of watermark tokens in generated images, with precision further improved by an Index Encoder. Furthermore, we introduce an auxiliary validation scheme to enhance robustness against cropping attacks. Experiments demonstrate that IndexMark achieves state-of-the-art performance in terms of image quality and verification accuracy, and exhibits robustness against various perturbations, including cropping, noises, Gaussian blur, random erasing, color jittering, and JPEG compression.