A Geometria dos Tokens em Representações Internas de Modelos de Linguagem Grandes

The Geometry of Tokens in Internal Representations of Large Language Models

January 17, 2025

Autores: Karthik Viswanathan, Yuri Gardinazzi, Giada Panerai, Alberto Cazzaniga, Matteo Biagetti

cs.AI

Resumo

Investigamos a relação entre a geometria dos embeddings de tokens e seu papel na previsão do próximo token dentro de modelos transformer. Um aspecto importante dessa conexão utiliza a noção de medida empírica, que codifica a distribuição de nuvens de pontos de tokens através das camadas do transformer e impulsiona a evolução das representações de tokens na imagem interativa de campo médio. Utilizamos métricas como dimensão intrínseca, sobreposição de vizinhança e similaridade cosseno para investigar observacionalmente essas medidas empíricas através das camadas. Para validar nossa abordagem, comparamos essas métricas com um conjunto de dados onde os tokens são embaralhados, o que perturba a estrutura sintática e semântica. Nossas descobertas revelam uma correlação entre as propriedades geométricas dos embeddings de tokens e a perda de entropia cruzada das previsões do próximo token, implicando que prompts com valores de perda mais altos têm tokens representados em espaços de dimensão mais alta.

English

We investigate the relationship between the geometry of token embeddings and their role in the next token prediction within transformer models. An important aspect of this connection uses the notion of empirical measure, which encodes the distribution of token point clouds across transformer layers and drives the evolution of token representations in the mean-field interacting picture. We use metrics such as intrinsic dimension, neighborhood overlap, and cosine similarity to observationally probe these empirical measures across layers. To validate our approach, we compare these metrics to a dataset where the tokens are shuffled, which disrupts the syntactic and semantic structure. Our findings reveal a correlation between the geometric properties of token embeddings and the cross-entropy loss of next token predictions, implying that prompts with higher loss values have tokens represented in higher-dimensional spaces.