Marcado de agua robusto utilizando precursores generativos contra la edición de imágenes: desde la evaluación comparativa hasta los avances

Robust Watermarking Using Generative Priors Against Image Editing: From Benchmarking to Advances

October 24, 2024

Autores: Shilin Lu, Zihan Zhou, Jiayou Lu, Yuanzhi Zhu, Adams Wai-Kin Kong

cs.AI

Resumen

Los métodos actuales de marca de agua en imágenes son vulnerables a técnicas avanzadas de edición de imágenes habilitadas por modelos de texto a imagen a gran escala. Estos modelos pueden distorsionar las marcas de agua incrustadas durante la edición, lo que plantea desafíos significativos para la protección de derechos de autor. En este trabajo, presentamos W-Bench, el primer banco de pruebas integral diseñado para evaluar la robustez de los métodos de marca de agua frente a una amplia gama de técnicas de edición de imágenes, incluyendo regeneración de imágenes, edición global, edición local y generación de imágenes a video. A través de evaluaciones exhaustivas de once métodos representativos de marca de agua frente a técnicas de edición prevalentes, demostramos que la mayoría de los métodos no logran detectar marcas de agua después de tales ediciones. Para abordar esta limitación, proponemos VINE, un método de marca de agua que mejora significativamente la robustez frente a diversas técnicas de edición de imágenes manteniendo una alta calidad de imagen. Nuestro enfoque implica dos innovaciones clave: (1) analizamos las características de frecuencia de la edición de imágenes e identificamos que las distorsiones por desenfoque exhiben propiedades de frecuencia similares, lo que nos permite utilizarlas como ataques sustitutos durante el entrenamiento para reforzar la robustez de la marca de agua; (2) aprovechamos un modelo de difusión preentrenado a gran escala, SDXL-Turbo, adaptándolo para la tarea de marca de agua para lograr una incrustación de marca de agua más imperceptible y robusta. Los resultados experimentales muestran que nuestro método logra un rendimiento excepcional en marca de agua bajo diversas técnicas de edición de imágenes, superando a los métodos existentes tanto en calidad de imagen como en robustez. El código está disponible en https://github.com/Shilin-LU/VINE.

English

Current image watermarking methods are vulnerable to advanced image editing techniques enabled by large-scale text-to-image models. These models can distort embedded watermarks during editing, posing significant challenges to copyright protection. In this work, we introduce W-Bench, the first comprehensive benchmark designed to evaluate the robustness of watermarking methods against a wide range of image editing techniques, including image regeneration, global editing, local editing, and image-to-video generation. Through extensive evaluations of eleven representative watermarking methods against prevalent editing techniques, we demonstrate that most methods fail to detect watermarks after such edits. To address this limitation, we propose VINE, a watermarking method that significantly enhances robustness against various image editing techniques while maintaining high image quality. Our approach involves two key innovations: (1) we analyze the frequency characteristics of image editing and identify that blurring distortions exhibit similar frequency properties, which allows us to use them as surrogate attacks during training to bolster watermark robustness; (2) we leverage a large-scale pretrained diffusion model SDXL-Turbo, adapting it for the watermarking task to achieve more imperceptible and robust watermark embedding. Experimental results show that our method achieves outstanding watermarking performance under various image editing techniques, outperforming existing methods in both image quality and robustness. Code is available at https://github.com/Shilin-LU/VINE.