A Forma das Palavras Importa: Reconstrução Semântica de LLMs sob Tipoglicemia

Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

March 3, 2025

Autores: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen

cs.AI

Resumo

Leitores humanos podem compreender eficientemente palavras embaralhadas, um fenômeno conhecido como Tipoglicemia, principalmente ao se apoiar na forma das palavras; se a forma da palavra por si só for insuficiente, eles utilizam ainda pistas contextuais para interpretação. Embora modelos avançados de linguagem de grande escala (LLMs, na sigla em inglês) exibam habilidades semelhantes, os mecanismos subjacentes permanecem pouco claros. Para investigar isso, conduzimos experimentos controlados para analisar os papéis da forma da palavra e da informação contextual na reconstrução semântica e examinar os padrões de atenção dos LLMs. Especificamente, propomos primeiro o SemRecScore, uma métrica confiável para quantificar o grau de reconstrução semântica, e validamos sua eficácia. Usando essa métrica, estudamos como a forma da palavra e a informação contextual influenciam a capacidade de reconstrução semântica dos LLMs, identificando a forma da palavra como o fator central nesse processo. Além disso, analisamos como os LLMs utilizam a forma da palavra e descobrimos que eles dependem de cabeças de atenção especializadas para extrair e processar informações sobre a forma da palavra, com esse mecanismo permanecendo estável em diferentes níveis de embaralhamento de palavras. Essa distinção entre os padrões fixos de atenção dos LLMs, focados principalmente na forma da palavra, e a estratégia adaptativa dos leitores humanos em equilibrar forma da palavra e informação contextual, fornece insights para aprimorar o desempenho dos LLMs ao incorporar mecanismos semelhantes aos humanos, que são conscientes do contexto.

English

Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.