La forme des mots compte : la reconstruction sémantique des LLM face à la typoglycémie

Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

March 3, 2025

Auteurs: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen

cs.AI

Résumé

Les lecteurs humains peuvent comprendre efficacement des mots mélangés, un phénomène connu sous le nom de Typoglycémie, principalement en s'appuyant sur la forme des mots ; si la forme des mots seule est insuffisante, ils utilisent ensuite des indices contextuels pour l'interprétation. Bien que les modèles de langage avancés (LLMs) présentent des capacités similaires, les mécanismes sous-jacents restent flous. Pour étudier cela, nous menons des expériences contrôlées pour analyser les rôles de la forme des mots et des informations contextuelles dans la reconstruction sémantique et examinons les modèles d'attention des LLMs. Plus précisément, nous proposons d'abord SemRecScore, une métrique fiable pour quantifier le degré de reconstruction sémantique, et validons son efficacité. En utilisant cette métrique, nous étudions comment la forme des mots et les informations contextuelles influencent la capacité de reconstruction sémantique des LLMs, identifiant la forme des mots comme le facteur central dans ce processus. De plus, nous analysons comment les LLMs utilisent la forme des mots et constatons qu'ils s'appuient sur des têtes d'attention spécialisées pour extraire et traiter les informations sur la forme des mots, ce mécanisme restant stable à différents niveaux de mélange des mots. Cette distinction entre les modèles d'attention fixes des LLMs principalement axés sur la forme des mots et la stratégie adaptative des lecteurs humains pour équilibrer la forme des mots et les informations contextuelles fournit des insights pour améliorer les performances des LLMs en intégrant des mécanismes conscients du contexte, similaires à ceux des humains.

English

Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.