Woordvorm doet ertoe: Semantische reconstructie van LLM's onder typoglykemie

Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

March 3, 2025

Auteurs: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen

cs.AI

Samenvatting

Menselijke lezers kunnen efficiënt betekenis halen uit door elkaar gehusselde woorden, een fenomeen dat bekend staat als Typoglycemia, voornamelijk door te vertrouwen op woordvorm; als woordvorm alleen onvoldoende is, gebruiken ze verder contextuele aanwijzingen voor interpretatie. Hoewel geavanceerde grote taalmodellen (LLM's) vergelijkbare vaardigheden vertonen, blijven de onderliggende mechanismen onduidelijk. Om dit te onderzoeken, voeren we gecontroleerde experimenten uit om de rollen van woordvorm en contextuele informatie in semantische reconstructie te analyseren en de aandachtspatronen van LLM's te onderzoeken. Specifiek stellen we eerst SemRecScore voor, een betrouwbare metriek om de mate van semantische reconstructie te kwantificeren, en valideren we de effectiviteit ervan. Met behulp van deze metriek bestuderen we hoe woordvorm en contextuele informatie de semantische reconstructievaardigheid van LLM's beïnvloeden, waarbij we woordvorm identificeren als de kernfactor in dit proces. Verder analyseren we hoe LLM's woordvorm gebruiken en ontdekken dat ze vertrouwen op gespecialiseerde aandachtskoppen om woordvorminformatie te extraheren en te verwerken, waarbij dit mechanisme stabiel blijft bij verschillende niveaus van woordhusseling. Dit onderscheid tussen de vaste aandachtspatronen van LLM's die voornamelijk gericht zijn op woordvorm en de adaptieve strategie van menselijke lezers in het balanceren van woordvorm en contextuele informatie, biedt inzichten om de prestaties van LLM's te verbeteren door mensachtige, contextbewuste mechanismen te integreren.

English

Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.