Generalizzazione o Memorizzazione: Decodifica Dinamica per il Pilotaggio della Modalità

Generalization or Memorization: Dynamic Decoding for Mode Steering

October 25, 2025

Autori: Xuanming Zhang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) mostrano una preoccupante dualità, essendo capaci sia di una notevole generalizzazione che di una memorizzazione rigida e letterale dei loro dati di addestramento. Questa imprevedibilità mina la loro affidabilità in applicazioni ad alto rischio. In questo lavoro, proponiamo un quadro unificato per comprendere, identificare e controllare queste distinte modalità di ragionamento. In primo luogo, introduciamo un modello teorico basato sul principio del Collo di Bottiglia dell'Informazione (Information Bottleneck, IB), che formalizza la generalizzazione come l'apprendimento di una rappresentazione compressa e rilevante per il compito, e la memorizzazione come un fallimento della compressione. Basandoci su questa teoria, sviluppiamo lo "Dynamic Mode Steering" (DMS), un nuovo algoritmo per il tempo di inferenza che comprende due componenti: (1) una sonda lineare leggera e causalmente fondata che identifica l'affidamento istantaneo del modello sulla memorizzazione, e (2) un meccanismo di "dynamic activation steering" che spinge delicatamente il calcolo del modello verso circuiti di generalizzazione pre-identificati. Inquadriamo il DMS come una forma di decodifica auto-contrastiva e adattiva. Esperimenti su compiti di ragionamento e fedeltà fattuale dimostrano che il DMS migliora significativamente la coerenza logica e l'accuratezza fattuale, offrendo così un approccio principiato per migliorare l'affidabilità degli LLM.

English

Large Language Models (LLMs) exhibit a troubling duality, capable of both remarkable generalization and brittle, verbatim memorization of their training data. This unpredictability undermines their reliability in high-stakes applications. In this work, we propose a unified framework to understand, identify, and control these distinct reasoning modes. First, we introduce a theoretical model based on the Information Bottleneck (IB) principle, formalizing generalization as the learning of a compressed, task-relevant representation and memorization as a failure to compress. Building on this theory, we develop Dynamic Mode Steering (DMS), a novel inference-time algorithm which comprises two components: (1) a lightweight, causally-grounded linear probe that identifies the model's instantaneous reliance on memorization, and (2) a dynamic activation steering mechanism that nudges the model's computation towards pre-identified generalization circuits. We frame DMS as a form of adaptive, self-contrastive decoding. Experiments on reasoning and faithfulness tasks demonstrate that DMS significantly improves logical consistency and factual accuracy, thereby offering a principled approach to enhancing LLM reliability.