I Modelli Linguistici di Grande Scala sono Mappature Localmente Lineari

Large Language Models are Locally Linear Mappings

May 30, 2025

Autori: James R. Golden

cs.AI

Abstract

Dimostriamo che le operazioni di inferenza di diversi modelli linguistici di grandi dimensioni (LLM) open-weight possono essere mappate a un sistema lineare esattamente equivalente per una sequenza di input senza modificare i pesi del modello o alterare le previsioni di output. Estendendo tecniche dai modelli di diffusione di immagini che mostrano linearità locale o a tratti, alteriamo strategicamente il calcolo del gradiente rispetto a una sequenza di input data per una previsione del token successivo, in modo tale che lo Jacobiano del modello riproduca quasi esattamente la previsione in avanti con un sistema lineare. Dimostriamo questo approccio su vari modelli (Llama 3, Gemma 3, Qwen 3, Phi 4, Mistral Ministral e OLMo 2, fino a Llama 3.3 70B Q4) e mostriamo, attraverso la decomposizione ai valori singolari dello Jacobiano separato, che questi LLM operano in sottospazi estremamente a bassa dimensionalità in cui molti dei vettori singolari più grandi decodificano concetti legati al token di output più probabile. Questo approccio ci permette anche di esaminare il funzionamento di ogni strato successivo (e dei suoi componenti di attenzione e MLP) come sistemi lineari quasi esatti e osservare l'emergere di concetti semantici. Nonostante il loro potere espressivo e la non linearità globale, i moderni LLM possono essere interpretati attraverso decomposizioni localmente lineari quasi esatte che forniscono intuizioni sulle loro rappresentazioni interne e rivelano strutture semantiche interpretabili nel processo di previsione del token successivo.

English

We demonstrate that the inference operations of several open-weight large language models (LLMs) can be mapped to an exactly equivalent linear system for an input sequence without modifying the model weights or altering output predictions. Extending techniques from image diffusion models that exhibit local or piecewise linearity, we strategically alter the gradient computation with respect to a given input sequence for a next-token prediction such that the Jacobian of the model nearly exactly reproduces the forward prediction with a linear system. We demonstrate this approach across models (Llama 3, Gemma 3, Qwen 3, Phi 4, Mistral Ministral and OLMo 2, up to Llama 3.3 70B Q4) and show through the singular value decomposition of the detached Jacobian that these LLMs operate in extremely low-dimensional subspaces where many of the largest singular vectors decode to concepts related to the most-likely output token. This approach also allows us to examine the operation of each successive layer (and its attention and MLP components) as nearly-exact linear systems and observe the emergence of semantic concepts. Despite their expressive power and global nonlinearity, modern LLMs can be interpreted through nearly-exact locally linear decompositions that provide insights into their internal representations and reveal interpretable semantic structures in the next-token prediction process.