트리-링 워터마크: 보이지 않으면서도 강인한 확산 이미지용 디지털 지문

Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust

May 31, 2023

저자: Yuxin Wen, John Kirchenbauer, Jonas Geiping, Tom Goldstein

cs.AI

초록

생성 모델의 출력물에 워터마크를 삽입하는 것은 저작권 추적과 AI 생성 콘텐츠로 인한 잠재적 피해를 방지하기 위한 중요한 기술입니다. 본 논문에서는 확산 모델 출력물에 강력한 지문을 남기는 새로운 기술인 Tree-Ring 워터마킹을 소개합니다. 기존 방법들이 샘플링 후 이미지에 사후 수정을 가하는 것과 달리, Tree-Ring 워터마킹은 전체 샘플링 과정에 미묘하게 영향을 미쳐 인간의 눈에 보이지 않는 모델 지문을 생성합니다. 이 워터마크는 샘플링에 사용되는 초기 노이즈 벡터에 패턴을 삽입합니다. 이러한 패턴들은 푸리에 공간에서 구조화되어 있어, 컨볼루션, 크롭, 확대, 뒤집기, 회전 등에 불변합니다. 이미지 생성 후, 워터마크 신호는 확산 과정을 역으로 진행하여 노이즈 벡터를 검색하고, 삽입된 신호를 확인함으로써 감지됩니다. 우리는 이 기술이 텍스트 조건부 Stable Diffusion을 포함한 임의의 확산 모델에 플러그인 형태로 쉽게 적용될 수 있으며, FID 측면에서 미미한 손실만 발생함을 보여줍니다. 우리의 워터마크는 이미지 공간에서 의미적으로 숨겨져 있으며, 현재 배포된 대체 워터마킹 기술보다 훨씬 더 강력합니다. 코드는 github.com/YuxinWenRick/tree-ring-watermark에서 확인할 수 있습니다.

English

Watermarking the outputs of generative models is a crucial technique for tracing copyright and preventing potential harm from AI-generated content. In this paper, we introduce a novel technique called Tree-Ring Watermarking that robustly fingerprints diffusion model outputs. Unlike existing methods that perform post-hoc modifications to images after sampling, Tree-Ring Watermarking subtly influences the entire sampling process, resulting in a model fingerprint that is invisible to humans. The watermark embeds a pattern into the initial noise vector used for sampling. These patterns are structured in Fourier space so that they are invariant to convolutions, crops, dilations, flips, and rotations. After image generation, the watermark signal is detected by inverting the diffusion process to retrieve the noise vector, which is then checked for the embedded signal. We demonstrate that this technique can be easily applied to arbitrary diffusion models, including text-conditioned Stable Diffusion, as a plug-in with negligible loss in FID. Our watermark is semantically hidden in the image space and is far more robust than watermarking alternatives that are currently deployed. Code is available at github.com/YuxinWenRick/tree-ring-watermark.