Lineaire correlatie in LM's compositorische generalisatie en hallucinatie

Linear Correlation in LM's Compositional Generalization and Hallucination

February 6, 2025

Auteurs: Letian Peng, Chenyang An, Shibo Hao, Chengyu Dong, Jingbo Shang

cs.AI

Samenvatting

De generalisatie van taalmodellen (LM's) is onderwerp van actieve debatten, waarbij hun potentieel voor algemene intelligentie wordt gecontrasteerd met hun worstelingen met basale kenniscompositie (bijv. omgekeerde/transitie-vloek). Dit artikel onthult het fenomeen van lineaire correlaties in LM's tijdens kenniscompositie. Ter verklaring bestaat er een lineaire transformatie tussen bepaalde gerelateerde kennis die de logaritmen van voorspellingen van het volgende token van de ene prompt naar de andere in kaart brengt, bijv. "X woont in de stad" naar "X woont in het land" voor elk gegeven X. Dit weerspiegelt de lineariteit in menselijke kenniscompositie, zoals Parijs naar Frankrijk. Onze bevindingen geven aan dat de lineaire transformatie veerkrachtig is bij grootschalige fijnafstemming, waarbij bijgewerkte kennis wordt gegeneraliseerd wanneer deze in lijn is met real-world relaties, maar hallucinaties veroorzaakt wanneer deze afwijkt. Empirische resultaten suggereren dat lineaire correlatie kan dienen als een potentieel identificatiemiddel van de generalisatie van LM's. Tot slot tonen we aan dat dergelijke lineaire correlaties kunnen worden geleerd met een enkel feedforward netwerk en vooraf getrainde woordenschatrepresentaties, wat aangeeft dat de generalisatie van LM sterk afhankelijk is van laatstgenoemde.

English

The generalization of language models (LMs) is undergoing active debates, contrasting their potential for general intelligence with their struggles with basic knowledge composition (e.g., reverse/transition curse). This paper uncovers the phenomenon of linear correlations in LMs during knowledge composition. For explanation, there exists a linear transformation between certain related knowledge that maps the next token prediction logits from one prompt to another, e.g., "X lives in the city of" rightarrow "X lives in the country of" for every given X. This mirrors the linearity in human knowledge composition, such as Paris rightarrow France. Our findings indicate that the linear transformation is resilient to large-scale fine-tuning, generalizing updated knowledge when aligned with real-world relationships, but causing hallucinations when it deviates. Empirical results suggest that linear correlation can serve as a potential identifier of LM's generalization. Finally, we show such linear correlations can be learned with a single feedforward network and pre-trained vocabulary representations, indicating LM generalization heavily relies on the latter.