Los Modelos de Lenguaje de Gran Escala son Mapeos Lineales Locales

Large Language Models are Locally Linear Mappings

May 30, 2025

Autores: James R. Golden

cs.AI

Resumen

Demostramos que las operaciones de inferencia de varios modelos de lenguaje grandes (LLMs) de pesos abiertos pueden mapearse a un sistema lineal exactamente equivalente para una secuencia de entrada sin modificar los pesos del modelo o alterar las predicciones de salida. Extendiendo técnicas de modelos de difusión de imágenes que exhiben linealidad local o por partes, alteramos estratégicamente el cálculo del gradiente con respecto a una secuencia de entrada dada para una predicción del siguiente token, de modo que el Jacobiano del modelo reproduce casi exactamente la predicción hacia adelante con un sistema lineal. Demostramos este enfoque en varios modelos (Llama 3, Gemma 3, Qwen 3, Phi 4, Mistral Ministral y OLMo 2, hasta Llama 3.3 70B Q4) y mostramos, a través de la descomposición en valores singulares del Jacobiano desacoplado, que estos LLMs operan en subespacios de dimensión extremadamente baja, donde muchos de los vectores singulares más grandes decodifican conceptos relacionados con el token de salida más probable. Este enfoque también nos permite examinar el funcionamiento de cada capa sucesiva (y sus componentes de atención y MLP) como sistemas lineales casi exactos y observar la emergencia de conceptos semánticos. A pesar de su poder expresivo y no linealidad global, los LLMs modernos pueden interpretarse a través de descomposiciones localmente lineales casi exactas que proporcionan información sobre sus representaciones internas y revelan estructuras semánticas interpretables en el proceso de predicción del siguiente token.

English

We demonstrate that the inference operations of several open-weight large language models (LLMs) can be mapped to an exactly equivalent linear system for an input sequence without modifying the model weights or altering output predictions. Extending techniques from image diffusion models that exhibit local or piecewise linearity, we strategically alter the gradient computation with respect to a given input sequence for a next-token prediction such that the Jacobian of the model nearly exactly reproduces the forward prediction with a linear system. We demonstrate this approach across models (Llama 3, Gemma 3, Qwen 3, Phi 4, Mistral Ministral and OLMo 2, up to Llama 3.3 70B Q4) and show through the singular value decomposition of the detached Jacobian that these LLMs operate in extremely low-dimensional subspaces where many of the largest singular vectors decode to concepts related to the most-likely output token. This approach also allows us to examine the operation of each successive layer (and its attention and MLP components) as nearly-exact linear systems and observe the emergence of semantic concepts. Despite their expressive power and global nonlinearity, modern LLMs can be interpreted through nearly-exact locally linear decompositions that provide insights into their internal representations and reveal interpretable semantic structures in the next-token prediction process.