Watermarking Vermindert Afstemming in Taalmodellen: Analyse en Mitigatie

Watermarking Degrades Alignment in Language Models: Analysis and Mitigation

June 4, 2025

Auteurs: Apurv Verma, NhatHai Phan, Shubhendu Trivedi

cs.AI

Samenvatting

Watermarkingtechnieken voor grote taalmodellen (LLMs) kunnen de uitvoerkwaliteit aanzienlijk beïnvloeden, maar hun effecten op waarheidsgetrouwheid, veiligheid en behulpzaamheid blijven kritisch onderbelicht. Dit artikel presenteert een systematische analyse van hoe twee populaire watermarkingbenaderingen—Gumbel en KGW—deze kernafstemmingseigenschappen beïnvloeden bij vier afgestemde LLMs. Onze experimenten onthullen twee verschillende degradatiepatronen: guard attenuation, waarbij verbeterde behulpzaamheid de modelveiligheid ondermijnt, en guard amplification, waarbij overmatige voorzichtigheid de behulpzaamheid van het model vermindert. Deze patronen ontstaan door watermark-geïnduceerde verschuivingen in de tokenverdeling, wat de fundamentele spanning tussen afstemmingsdoelstellingen blootlegt. Om deze degradaties te mitigeren, stellen we Alignment Resampling (AR) voor, een inferentie-tijd samplingmethode die een extern beloningsmodel gebruikt om de afstemming te herstellen. We stellen een theoretische ondergrens vast voor de verbetering in de verwachte beloningsscore naarmate de steekproefgrootte wordt vergroot en tonen empirisch aan dat het bemonsteren van slechts 2-4 gewatermerkte generaties effectief de baseline (niet-gewatermerkte) afstemmingsscores herstelt of overtreft. Om de beperkte responsdiversiteit van standaard Gumbel-watermarking te overwinnen, offert onze aangepaste implementatie strikte vervormingsvrijheid op terwijl robuuste detecteerbaarheid behouden blijft, wat compatibiliteit met AR garandeert. Experimentele resultaten bevestigen dat AR met succes de baseline-afstemming herstelt bij beide watermarkingbenaderingen, terwijl sterke watermarkdetecteerbaarheid behouden blijft. Dit werk onthult het kritieke evenwicht tussen watermarksterkte en modelafstemming en biedt een eenvoudige inferentie-tijdoplossing om gewatermerkte LLMs verantwoord in de praktijk te implementeren.

English

Watermarking techniques for large language models (LLMs) can significantly impact output quality, yet their effects on truthfulness, safety, and helpfulness remain critically underexamined. This paper presents a systematic analysis of how two popular watermarking approaches-Gumbel and KGW-affect these core alignment properties across four aligned LLMs. Our experiments reveal two distinct degradation patterns: guard attenuation, where enhanced helpfulness undermines model safety, and guard amplification, where excessive caution reduces model helpfulness. These patterns emerge from watermark-induced shifts in token distribution, surfacing the fundamental tension that exists between alignment objectives. To mitigate these degradations, we propose Alignment Resampling (AR), an inference-time sampling method that uses an external reward model to restore alignment. We establish a theoretical lower bound on the improvement in expected reward score as the sample size is increased and empirically demonstrate that sampling just 2-4 watermarked generations effectively recovers or surpasses baseline (unwatermarked) alignment scores. To overcome the limited response diversity of standard Gumbel watermarking, our modified implementation sacrifices strict distortion-freeness while maintaining robust detectability, ensuring compatibility with AR. Experimental results confirm that AR successfully recovers baseline alignment in both watermarking approaches, while maintaining strong watermark detectability. This work reveals the critical balance between watermark strength and model alignment, providing a simple inference-time solution to responsibly deploy watermarked LLMs in practice.