Non tutte le caratteristiche dei modelli linguistici sono lineari

Not All Language Model Features Are Linear

May 23, 2024

Autori: Joshua Engels, Isaac Liao, Eric J. Michaud, Wes Gurnee, Max Tegmark

cs.AI

Abstract

Recenti lavori hanno proposto l'ipotesi della rappresentazione lineare: che i modelli linguistici eseguano calcoli manipolando rappresentazioni unidimensionali di concetti ("feature") nello spazio delle attivazioni. Al contrario, esploriamo se alcune rappresentazioni dei modelli linguistici possano essere intrinsecamente multidimensionali. Iniziamo sviluppando una definizione rigorosa di feature multidimensionali irriducibili, basata sulla possibilità di scomporle in feature di dimensione inferiore indipendenti o non co-occorrenti. Motivati da queste definizioni, progettiamo un metodo scalabile che utilizza autoencoder sparsi per trovare automaticamente feature multidimensionali in GPT-2 e Mistral 7B. Queste feature scoperte automaticamente includono esempi sorprendentemente interpretabili, come feature circolari che rappresentano i giorni della settimana e i mesi dell'anno. Identifichiamo task in cui questi cerchi esatti vengono utilizzati per risolvere problemi computazionali che coinvolgono l'aritmetica modulare nei giorni della settimana e nei mesi dell'anno. Infine, forniamo prove che queste feature circolari siano effettivamente l'unità fondamentale di calcolo in questi task con esperimenti di intervento su Mistral 7B e Llama 3 8B, e troviamo ulteriori rappresentazioni circolari scomponendo gli stati nascosti per questi task in componenti interpretabili.

English

Recent work has proposed the linear representation hypothesis: that language models perform computation by manipulating one-dimensional representations of concepts ("features") in activation space. In contrast, we explore whether some language model representations may be inherently multi-dimensional. We begin by developing a rigorous definition of irreducible multi-dimensional features based on whether they can be decomposed into either independent or non-co-occurring lower-dimensional features. Motivated by these definitions, we design a scalable method that uses sparse autoencoders to automatically find multi-dimensional features in GPT-2 and Mistral 7B. These auto-discovered features include strikingly interpretable examples, e.g. circular features representing days of the week and months of the year. We identify tasks where these exact circles are used to solve computational problems involving modular arithmetic in days of the week and months of the year. Finally, we provide evidence that these circular features are indeed the fundamental unit of computation in these tasks with intervention experiments on Mistral 7B and Llama 3 8B, and we find further circular representations by breaking down the hidden states for these tasks into interpretable components.