No todas las características de los modelos de lenguaje son lineales.

Not All Language Model Features Are Linear

May 23, 2024

Autores: Joshua Engels, Isaac Liao, Eric J. Michaud, Wes Gurnee, Max Tegmark

cs.AI

Resumen

Trabajos recientes han propuesto la hipótesis de la representación lineal: que los modelos de lenguaje realizan cálculos manipulando representaciones unidimensionales de conceptos ("características") en el espacio de activaciones. En contraste, exploramos si algunas representaciones de los modelos de lenguaje podrían ser inherentemente multidimensionales. Comenzamos desarrollando una definición rigurosa de características multidimensionales irreducibles basada en si pueden descomponerse en características de menor dimensión independientes o no concurrentes. Motivados por estas definiciones, diseñamos un método escalable que utiliza autoencoders dispersos para encontrar automáticamente características multidimensionales en GPT-2 y Mistral 7B. Estas características descubiertas automáticamente incluyen ejemplos notablemente interpretables, como características circulares que representan los días de la semana y los meses del año. Identificamos tareas en las que estos círculos exactos se utilizan para resolver problemas computacionales que involucran aritmética modular en días de la semana y meses del año. Finalmente, proporcionamos evidencia de que estas características circulares son efectivamente la unidad fundamental de cálculo en estas tareas mediante experimentos de intervención en Mistral 7B y Llama 3 8B, y encontramos representaciones circulares adicionales al descomponer los estados ocultos para estas tareas en componentes interpretables.

English

Recent work has proposed the linear representation hypothesis: that language models perform computation by manipulating one-dimensional representations of concepts ("features") in activation space. In contrast, we explore whether some language model representations may be inherently multi-dimensional. We begin by developing a rigorous definition of irreducible multi-dimensional features based on whether they can be decomposed into either independent or non-co-occurring lower-dimensional features. Motivated by these definitions, we design a scalable method that uses sparse autoencoders to automatically find multi-dimensional features in GPT-2 and Mistral 7B. These auto-discovered features include strikingly interpretable examples, e.g. circular features representing days of the week and months of the year. We identify tasks where these exact circles are used to solve computational problems involving modular arithmetic in days of the week and months of the year. Finally, we provide evidence that these circular features are indeed the fundamental unit of computation in these tasks with intervention experiments on Mistral 7B and Llama 3 8B, and we find further circular representations by breaking down the hidden states for these tasks into interpretable components.