Corrélation linéaire dans la généralisation compositionnelle et l'hallucination de LM

Linear Correlation in LM's Compositional Generalization and Hallucination

February 6, 2025

Auteurs: Letian Peng, Chenyang An, Shibo Hao, Chengyu Dong, Jingbo Shang

cs.AI

Résumé

La généralisation des modèles de langage (LMs) fait l'objet de débats actifs, opposant leur potentiel pour l'intelligence générale à leurs difficultés avec la composition de connaissances de base (par exemple, la malédiction inverse/de transition). Cet article met en lumière le phénomène des corrélations linéaires dans les LMs lors de la composition des connaissances. Pour expliquer, il existe une transformation linéaire entre certaines connaissances connexes qui mappe les logits de prédiction du jeton suivant d'une requête à une autre, par exemple, "X vit dans la ville de" → "X vit dans le pays de" pour chaque X donné. Cela reflète la linéarité dans la composition des connaissances humaines, comme Paris → France. Nos résultats indiquent que la transformation linéaire est résiliente aux ajustements à grande échelle, généralisant les connaissances mises à jour lorsqu'elles sont alignées sur des relations du monde réel, mais provoquant des hallucinations en cas d'écart. Les résultats empiriques suggèrent que la corrélation linéaire peut servir d'indicateur potentiel de la généralisation des LM. Enfin, nous montrons que de telles corrélations linéaires peuvent être apprises avec un seul réseau feedforward et des représentations de vocabulaire pré-entraînées, indiquant que la généralisation des LM repose fortement sur ces dernières.

English

The generalization of language models (LMs) is undergoing active debates, contrasting their potential for general intelligence with their struggles with basic knowledge composition (e.g., reverse/transition curse). This paper uncovers the phenomenon of linear correlations in LMs during knowledge composition. For explanation, there exists a linear transformation between certain related knowledge that maps the next token prediction logits from one prompt to another, e.g., "X lives in the city of" rightarrow "X lives in the country of" for every given X. This mirrors the linearity in human knowledge composition, such as Paris rightarrow France. Our findings indicate that the linear transformation is resilient to large-scale fine-tuning, generalizing updated knowledge when aligned with real-world relationships, but causing hallucinations when it deviates. Empirical results suggest that linear correlation can serve as a potential identifier of LM's generalization. Finally, we show such linear correlations can be learned with a single feedforward network and pre-trained vocabulary representations, indicating LM generalization heavily relies on the latter.