자율 회귀 이미지 생성을 위한 학습 없이 적용 가능한 워터마킹

Training-Free Watermarking for Autoregressive Image Generation

May 20, 2025

저자: Yu Tong, Zihao Pan, Shuai Yang, Kaiyang Zhou

cs.AI

초록

보이지 않는 이미지 워터마킹은 이미지 소유권을 보호하고 시각적 생성 모델의 악의적인 오용을 방지할 수 있습니다. 그러나 기존의 생성적 워터마킹 방법은 주로 확산 모델을 위해 설계되었으며, 자기회귀적 이미지 생성 모델을 위한 워터마킹은 여전히 크게 탐구되지 않은 상태입니다. 우리는 자기회귀적 이미지 생성 모델을 위한 학습이 필요 없는 워터마킹 프레임워크인 IndexMark를 제안합니다. IndexMark는 코드북의 중복성 특성에서 영감을 받았습니다: 자기회귀적으로 생성된 인덱스를 유사한 인덱스로 대체해도 시각적 차이는 미미합니다. IndexMark의 핵심 구성 요소는 간단하면서도 효과적인 매치-후-대체 방법으로, 토큰 유사성을 기반으로 코드북에서 워터마크 토큰을 신중하게 선택하고 토큰 대체를 통해 워터마크 토큰의 사용을 촉진함으로써 이미지 품질에 영향을 주지 않고 워터마크를 삽입합니다. 워터마크 검증은 생성된 이미지에서 워터마크 토큰의 비율을 계산하여 이루어지며, Index Encoder를 통해 정확도가 더욱 향상됩니다. 또한, 크롭핑 공격에 대한 견고성을 강화하기 위해 보조 검증 방식을 도입했습니다. 실험 결과, IndexMark는 이미지 품질과 검증 정확도 측면에서 최첨단 성능을 달성했으며, 크롭핑, 노이즈, 가우시안 블러, 랜덤 지우기, 색상 변화, JPEG 압축 등 다양한 변형에 대해 견고성을 보여주었습니다.

English

Invisible image watermarking can protect image ownership and prevent malicious misuse of visual generative models. However, existing generative watermarking methods are mainly designed for diffusion models while watermarking for autoregressive image generation models remains largely underexplored. We propose IndexMark, a training-free watermarking framework for autoregressive image generation models. IndexMark is inspired by the redundancy property of the codebook: replacing autoregressively generated indices with similar indices produces negligible visual differences. The core component in IndexMark is a simple yet effective match-then-replace method, which carefully selects watermark tokens from the codebook based on token similarity, and promotes the use of watermark tokens through token replacement, thereby embedding the watermark without affecting the image quality. Watermark verification is achieved by calculating the proportion of watermark tokens in generated images, with precision further improved by an Index Encoder. Furthermore, we introduce an auxiliary validation scheme to enhance robustness against cropping attacks. Experiments demonstrate that IndexMark achieves state-of-the-art performance in terms of image quality and verification accuracy, and exhibits robustness against various perturbations, including cropping, noises, Gaussian blur, random erasing, color jittering, and JPEG compression.