Marcação d'água Degrada o Alinhamento em Modelos de Linguagem: Análise e Mitigação

Watermarking Degrades Alignment in Language Models: Analysis and Mitigation

June 4, 2025

Autores: Apurv Verma, NhatHai Phan, Shubhendu Trivedi

cs.AI

Resumo

Técnicas de marca d'água para modelos de linguagem de grande escala (LLMs) podem impactar significativamente a qualidade da saída, mas seus efeitos sobre veracidade, segurança e utilidade permanecem criticamente subexplorados. Este artigo apresenta uma análise sistemática de como duas abordagens populares de marca d'água — Gumbel e KGW — afetam essas propriedades fundamentais de alinhamento em quatro LLMs alinhados. Nossos experimentos revelam dois padrões distintos de degradação: atenuação de guarda, onde a utilidade aprimorada compromete a segurança do modelo, e amplificação de guarda, onde o excesso de cautela reduz a utilidade do modelo. Esses padrões surgem de mudanças induzidas pela marca d'água na distribuição de tokens, evidenciando a tensão fundamental que existe entre os objetivos de alinhamento. Para mitigar essas degradações, propomos o Reamostragem de Alinhamento (AR), um método de amostragem em tempo de inferência que utiliza um modelo de recompensa externo para restaurar o alinhamento. Estabelecemos um limite inferior teórico para a melhoria na pontuação de recompensa esperada à medida que o tamanho da amostra é aumentado e demonstramos empiricamente que a amostragem de apenas 2-4 gerações com marca d'água recupera ou supera efetivamente as pontuações de alinhamento de linha de base (sem marca d'água). Para superar a diversidade limitada de respostas da marca d'água Gumbel padrão, nossa implementação modificada sacrifica a estrita ausência de distorção enquanto mantém uma detectabilidade robusta, garantindo compatibilidade com o AR. Resultados experimentais confirmam que o AR recupera com sucesso o alinhamento de linha de base em ambas as abordagens de marca d'água, mantendo uma forte detectabilidade da marca d'água. Este trabalho revela o equilíbrio crítico entre a força da marca d'água e o alinhamento do modelo, fornecendo uma solução simples em tempo de inferência para implantar LLMs com marca d'água de forma responsável na prática.

English

Watermarking techniques for large language models (LLMs) can significantly impact output quality, yet their effects on truthfulness, safety, and helpfulness remain critically underexamined. This paper presents a systematic analysis of how two popular watermarking approaches-Gumbel and KGW-affect these core alignment properties across four aligned LLMs. Our experiments reveal two distinct degradation patterns: guard attenuation, where enhanced helpfulness undermines model safety, and guard amplification, where excessive caution reduces model helpfulness. These patterns emerge from watermark-induced shifts in token distribution, surfacing the fundamental tension that exists between alignment objectives. To mitigate these degradations, we propose Alignment Resampling (AR), an inference-time sampling method that uses an external reward model to restore alignment. We establish a theoretical lower bound on the improvement in expected reward score as the sample size is increased and empirically demonstrate that sampling just 2-4 watermarked generations effectively recovers or surpasses baseline (unwatermarked) alignment scores. To overcome the limited response diversity of standard Gumbel watermarking, our modified implementation sacrifices strict distortion-freeness while maintaining robust detectability, ensuring compatibility with AR. Experimental results confirm that AR successfully recovers baseline alignment in both watermarking approaches, while maintaining strong watermark detectability. This work reveals the critical balance between watermark strength and model alignment, providing a simple inference-time solution to responsibly deploy watermarked LLMs in practice.