트레이드오프에서 시너지로: 대규모 언어 모델을 위한 다목적 상생 워터마킹 프레임워크

From Trade-off to Synergy: A Versatile Symbiotic Watermarking Framework for Large Language Models

May 15, 2025

저자: Yidan Wang, Yubing Ren, Yanan Cao, Binxing Fang

cs.AI

초록

대규모 언어 모델(LLM)의 부상은 AI 생성 텍스트의 오용에 대한 우려를 고조시켰으며, 이에 워터마킹이 유망한 해결책으로 떠오르고 있습니다. LLM을 위한 주류 워터마킹 기법은 크게 로짓 기반과 샘플링 기반 두 가지 범주로 나뉩니다. 그러나 현재의 기법들은 견고성, 텍스트 품질, 보안 간의 트레이드오프를 수반합니다. 이를 완화하기 위해 우리는 로짓 기반과 샘플링 기반 기법을 통합하여 각각의 강점을 활용해 시너지를 달성합니다. 본 논문에서는 직렬, 병렬, 하이브리드 세 가지 전략을 갖춘 다용도 공생 워터마킹 프레임워크를 제안합니다. 하이브리드 프레임워크는 토큰 엔트로피와 의미론적 엔트로피를 활용하여 워터마크를 적응적으로 삽입함으로써 탐지 가능성, 견고성, 텍스트 품질, 보안 간의 균형을 최적화합니다. 또한, 다양한 데이터셋과 모델에 대한 포괄적인 실험을 통해 우리의 접근 방식을 검증합니다. 실험 결과는 우리의 방법이 기존 베이스라인을 능가하며 최첨단(SOTA) 성능을 달성함을 보여줍니다. 우리는 이 프레임워크가 다양한 워터마킹 패러다임에 대한 새로운 통찰을 제공할 것이라 믿습니다. 우리의 코드는 https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}에서 확인할 수 있습니다.

English

The rise of Large Language Models (LLMs) has heightened concerns about the misuse of AI-generated text, making watermarking a promising solution. Mainstream watermarking schemes for LLMs fall into two categories: logits-based and sampling-based. However, current schemes entail trade-offs among robustness, text quality, and security. To mitigate this, we integrate logits-based and sampling-based schemes, harnessing their respective strengths to achieve synergy. In this paper, we propose a versatile symbiotic watermarking framework with three strategies: serial, parallel, and hybrid. The hybrid framework adaptively embeds watermarks using token entropy and semantic entropy, optimizing the balance between detectability, robustness, text quality, and security. Furthermore, we validate our approach through comprehensive experiments on various datasets and models. Experimental results indicate that our method outperforms existing baselines and achieves state-of-the-art (SOTA) performance. We believe this framework provides novel insights into diverse watermarking paradigms. Our code is available at https://github.com/redwyd/SymMark{https://github.com/redwyd/SymMark}.