Le tatouage dégrade l'alignement des modèles de langage : analyse et atténuation

Watermarking Degrades Alignment in Language Models: Analysis and Mitigation

June 4, 2025

Auteurs: Apurv Verma, NhatHai Phan, Shubhendu Trivedi

cs.AI

Résumé

Les techniques de filigrane pour les grands modèles de langage (LLMs) peuvent avoir un impact significatif sur la qualité des sorties, mais leurs effets sur la véracité, la sécurité et l'utilité restent largement sous-étudiés. Cet article présente une analyse systématique de la manière dont deux approches populaires de filigrane — Gumbel et KGW — affectent ces propriétés fondamentales d'alignement dans quatre LLMs alignés. Nos expériences révèlent deux schémas distincts de dégradation : l'atténuation des garde-fous, où une utilité accrue compromet la sécurité du modèle, et l'amplification des garde-fous, où une prudence excessive réduit l'utilité du modèle. Ces schémas émergent des modifications induites par le filigrane dans la distribution des tokens, mettant en lumière la tension fondamentale qui existe entre les objectifs d'alignement. Pour atténuer ces dégradations, nous proposons le rééchantillonnage d'alignement (AR), une méthode d'échantillonnage au moment de l'inférence qui utilise un modèle de récompense externe pour restaurer l'alignement. Nous établissons une borne inférieure théorique sur l'amélioration du score de récompense attendu à mesure que la taille de l'échantillon augmente et démontrons empiriquement que l'échantillonnage de seulement 2 à 4 générations filigranées permet de retrouver ou de dépasser les scores d'alignement de référence (non filigranés). Pour surmonter la diversité limitée des réponses du filigrane Gumbel standard, notre implémentation modifiée sacrifie une stricte absence de distorsion tout en maintenant une détectabilité robuste, garantissant ainsi la compatibilité avec AR. Les résultats expérimentaux confirment que AR permet de retrouver l'alignement de référence dans les deux approches de filigrane, tout en maintenant une forte détectabilité du filigrane. Ce travail révèle l'équilibre critique entre la force du filigrane et l'alignement du modèle, offrant une solution simple au moment de l'inférence pour déployer de manière responsable des LLMs filigranés en pratique.

English

Watermarking techniques for large language models (LLMs) can significantly impact output quality, yet their effects on truthfulness, safety, and helpfulness remain critically underexamined. This paper presents a systematic analysis of how two popular watermarking approaches-Gumbel and KGW-affect these core alignment properties across four aligned LLMs. Our experiments reveal two distinct degradation patterns: guard attenuation, where enhanced helpfulness undermines model safety, and guard amplification, where excessive caution reduces model helpfulness. These patterns emerge from watermark-induced shifts in token distribution, surfacing the fundamental tension that exists between alignment objectives. To mitigate these degradations, we propose Alignment Resampling (AR), an inference-time sampling method that uses an external reward model to restore alignment. We establish a theoretical lower bound on the improvement in expected reward score as the sample size is increased and empirically demonstrate that sampling just 2-4 watermarked generations effectively recovers or surpasses baseline (unwatermarked) alignment scores. To overcome the limited response diversity of standard Gumbel watermarking, our modified implementation sacrifices strict distortion-freeness while maintaining robust detectability, ensuring compatibility with AR. Experimental results confirm that AR successfully recovers baseline alignment in both watermarking approaches, while maintaining strong watermark detectability. This work reveals the critical balance between watermark strength and model alignment, providing a simple inference-time solution to responsibly deploy watermarked LLMs in practice.