La Filigrana Degrada l'Allineamento nei Modelli Linguistici: Analisi e Mitigazione

Watermarking Degrades Alignment in Language Models: Analysis and Mitigation

June 4, 2025

Autori: Apurv Verma, NhatHai Phan, Shubhendu Trivedi

cs.AI

Abstract

Le tecniche di watermarking per i modelli linguistici di grandi dimensioni (LLM) possono influenzare significativamente la qualità dell'output, ma i loro effetti sulla veridicità, sicurezza e utilità rimangono criticamente poco esaminati. Questo articolo presenta un'analisi sistematica di come due approcci popolari di watermarking - Gumbel e KGW - influenzano queste proprietà fondamentali di allineamento in quattro LLM allineati. I nostri esperimenti rivelano due distinti modelli di degradazione: l'attenuazione delle protezioni, in cui una maggiore utilità compromette la sicurezza del modello, e l'amplificazione delle protezioni, in cui un'eccessiva cautela riduce l'utilità del modello. Questi modelli emergono da spostamenti indotti dal watermarking nella distribuzione dei token, evidenziando la tensione fondamentale che esiste tra gli obiettivi di allineamento. Per mitigare queste degradazioni, proponiamo il Resampling di Allineamento (AR), un metodo di campionamento in fase di inferenza che utilizza un modello di ricompensa esterno per ripristinare l'allineamento. Stabiliamo un limite inferiore teorico sul miglioramento del punteggio di ricompensa atteso all'aumentare della dimensione del campione e dimostriamo empiricamente che il campionamento di appena 2-4 generazioni con watermarking recupera efficacemente o supera i punteggi di allineamento di base (senza watermarking). Per superare la limitata diversità di risposta del watermarking Gumbel standard, la nostra implementazione modificata sacrifica la rigorosa assenza di distorsione mantenendo una robusta rilevabilità, garantendo la compatibilità con AR. I risultati sperimentali confermano che AR recupera con successo l'allineamento di base in entrambi gli approcci di watermarking, mantenendo una forte rilevabilità del watermark. Questo lavoro rivela il delicato equilibrio tra la forza del watermarking e l'allineamento del modello, fornendo una semplice soluzione in fase di inferenza per implementare responsabilmente LLM con watermarking nella pratica.

English

Watermarking techniques for large language models (LLMs) can significantly impact output quality, yet their effects on truthfulness, safety, and helpfulness remain critically underexamined. This paper presents a systematic analysis of how two popular watermarking approaches-Gumbel and KGW-affect these core alignment properties across four aligned LLMs. Our experiments reveal two distinct degradation patterns: guard attenuation, where enhanced helpfulness undermines model safety, and guard amplification, where excessive caution reduces model helpfulness. These patterns emerge from watermark-induced shifts in token distribution, surfacing the fundamental tension that exists between alignment objectives. To mitigate these degradations, we propose Alignment Resampling (AR), an inference-time sampling method that uses an external reward model to restore alignment. We establish a theoretical lower bound on the improvement in expected reward score as the sample size is increased and empirically demonstrate that sampling just 2-4 watermarked generations effectively recovers or surpasses baseline (unwatermarked) alignment scores. To overcome the limited response diversity of standard Gumbel watermarking, our modified implementation sacrifices strict distortion-freeness while maintaining robust detectability, ensuring compatibility with AR. Experimental results confirm that AR successfully recovers baseline alignment in both watermarking approaches, while maintaining strong watermark detectability. This work reveals the critical balance between watermark strength and model alignment, providing a simple inference-time solution to responsibly deploy watermarked LLMs in practice.