Correlazione Lineare nella Generalizzazione Compositiva e Hallucination di LM

Linear Correlation in LM's Compositional Generalization and Hallucination

February 6, 2025

Autori: Letian Peng, Chenyang An, Shibo Hao, Chengyu Dong, Jingbo Shang

cs.AI

Abstract

La generalizzazione dei modelli linguistici (LMs) è oggetto di vivaci dibattiti, contrapponendo il loro potenziale per l'intelligenza generale alle difficoltà riscontrate nella composizione delle conoscenze di base (ad esempio, la maledizione inversa/transizione). Questo articolo mette in luce il fenomeno delle correlazioni lineari nei LMs durante la composizione delle conoscenze. A titolo di spiegazione, esiste una trasformazione lineare tra determinate conoscenze correlate che mappa i logit di previsione del token successivo da un prompt all'altro, ad esempio, "X vive nella città di" → "X vive nel paese di" per ogni X dato. Questo riflette la linearità nella composizione delle conoscenze umane, come ad esempio Parigi → Francia. I nostri risultati indicano che la trasformazione lineare è resistente al fine-tuning su larga scala, generalizzando le conoscenze aggiornate quando allineate con le relazioni del mondo reale, ma causando allucinazioni quando si discosta. I risultati empirici suggeriscono che la correlazione lineare può fungere da potenziale identificatore della generalizzazione dei LM. Infine, dimostriamo che tali correlazioni lineari possono essere apprese con un singolo network feedforward e rappresentazioni lessicali pre-addestrate, indicando che la generalizzazione dei LM dipende pesantemente da quest'ultime.

English

The generalization of language models (LMs) is undergoing active debates, contrasting their potential for general intelligence with their struggles with basic knowledge composition (e.g., reverse/transition curse). This paper uncovers the phenomenon of linear correlations in LMs during knowledge composition. For explanation, there exists a linear transformation between certain related knowledge that maps the next token prediction logits from one prompt to another, e.g., "X lives in the city of" rightarrow "X lives in the country of" for every given X. This mirrors the linearity in human knowledge composition, such as Paris rightarrow France. Our findings indicate that the linear transformation is resilient to large-scale fine-tuning, generalizing updated knowledge when aligned with real-world relationships, but causing hallucinations when it deviates. Empirical results suggest that linear correlation can serve as a potential identifier of LM's generalization. Finally, we show such linear correlations can be learned with a single feedforward network and pre-trained vocabulary representations, indicating LM generalization heavily relies on the latter.