Quand la personnalisation égare : Comprendre et atténuer les hallucinations dans les LLM personnalisés

When Personalization Misleads: Understanding and Mitigating Hallucinations in Personalized LLMs

January 16, 2026

papers.authors: Zhongxiang Sun, Yi Zhan, Chenglei Shen, Weijie Yu, Xiao Zhang, Ming He, Jun Xu

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLM) personnalisés adaptent leur comportement aux utilisateurs individuels pour améliorer leur satisfaction, mais cette personnalisation peut involontairement fausser le raisonnement factuel. Nous démontrons que lorsque des LLM personnalisés sont confrontés à des requêtes factuelles, un phénomène se produit où le modèle génère des réponses alignées sur l'historique de l'utilisateur plutôt que sur la vérité objective. Cela entraîne des hallucinations induites par la personnalisation qui dégradent la fiabilité factuelle et peuvent propager des croyances incorrectes, en raison d'un enchevêtrement représentationnel entre les représentations de la personnalisation et les représentations factuelles. Pour résoudre ce problème, nous proposons le Pilotage Personnalisé Préservant la Factualité (FPPS), une approche légère au moment de l'inférence qui atténue les distorsions factuelles induites par la personnalisation tout en préservant le comportement personnalisé. Nous introduisons également PFQABench, le premier benchmark conçu pour évaluer conjointement les réponses aux questions factuelles et personnalisées sous personnalisation. Les expériences sur plusieurs architectures de LLM et méthodes de personnalisation montrent que FPPS améliore considérablement la précision factuelle tout en maintenant les performances personnalisées.

English

Personalized large language models (LLMs) adapt model behavior to individual users to enhance user satisfaction, yet personalization can inadvertently distort factual reasoning. We show that when personalized LLMs face factual queries, there exists a phenomenon where the model generates answers aligned with a user's prior history rather than the objective truth, resulting in personalization-induced hallucinations that degrade factual reliability and may propagate incorrect beliefs, due to representational entanglement between personalization and factual representations. To address this issue, we propose Factuality-Preserving Personalized Steering (FPPS), a lightweight inference-time approach that mitigates personalization-induced factual distortions while preserving personalized behavior. We further introduce PFQABench, the first benchmark designed to jointly evaluate factual and personalized question answering under personalization. Experiments across multiple LLM backbones and personalization methods show that FPPS substantially improves factual accuracy while maintaining personalized performance.