Généralisation ou Mémorisation : Décodage Dynamique pour le Pilotage des Modes

Generalization or Memorization: Dynamic Decoding for Mode Steering

October 25, 2025

papers.authors: Xuanming Zhang

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLM) présentent une dualité préoccupante, capable à la fois d'une généralisation remarquable et d'une mémorisation littérale et fragile de leurs données d'entraînement. Cette imprévisibilité compromet leur fiabilité dans les applications à haut risque. Dans ce travail, nous proposons un cadre unifié pour comprendre, identifier et contrôler ces modes de raisonnement distincts. Premièrement, nous introduisons un modèle théorique basé sur le principe du goulot d'étranglement informationnel (IB), formalisant la généralisation comme l'apprentissage d'une représentation compressée et pertinente pour la tâche, et la mémorisation comme un échec de compression. S'appuyant sur cette théorie, nous développons le Pilotage Dynamique de Mode (DMS), un nouvel algorithme au moment de l'inférence qui comprend deux composantes : (1) une sonde linéaire légère, fondée sur la causalité, qui identifie la dépendance instantanée du modèle à la mémorisation, et (2) un mécanisme de pilotage dynamique des activations qui oriente le calcul du modèle vers des circuits de généralisation pré-identifiés. Nous formulons le DMS comme une forme de décodage auto-contrastif adaptatif. Des expériences sur des tâches de raisonnement et de fidélité factuelle démontrent que le DMS améliore significativement la cohérence logique et la précision factuelle, offrant ainsi une approche principielle pour renforcer la fiabilité des LLM.

English

Large Language Models (LLMs) exhibit a troubling duality, capable of both remarkable generalization and brittle, verbatim memorization of their training data. This unpredictability undermines their reliability in high-stakes applications. In this work, we propose a unified framework to understand, identify, and control these distinct reasoning modes. First, we introduce a theoretical model based on the Information Bottleneck (IB) principle, formalizing generalization as the learning of a compressed, task-relevant representation and memorization as a failure to compress. Building on this theory, we develop Dynamic Mode Steering (DMS), a novel inference-time algorithm which comprises two components: (1) a lightweight, causally-grounded linear probe that identifies the model's instantaneous reliance on memorization, and (2) a dynamic activation steering mechanism that nudges the model's computation towards pre-identified generalization circuits. We frame DMS as a form of adaptive, self-contrastive decoding. Experiments on reasoning and faithfulness tasks demonstrate that DMS significantly improves logical consistency and factual accuracy, thereby offering a principled approach to enhancing LLM reliability.