La Forma delle Parole Conta: Ricostruzione Semantica nei LLM sotto Tipoglicemia

Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

March 3, 2025

Autori: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen

cs.AI

Abstract

I lettori umani possono comprendere in modo efficiente parole con lettere rimescolate, un fenomeno noto come Tipoglicemia, principalmente basandosi sulla forma delle parole; se la sola forma della parola non è sufficiente, utilizzano ulteriori indizi contestuali per l'interpretazione. Sebbene i modelli linguistici avanzati di grandi dimensioni (LLM) mostrino abilità simili, i meccanismi sottostanti rimangono poco chiari. Per indagare questo aspetto, conduciamo esperimenti controllati per analizzare il ruolo della forma delle parole e delle informazioni contestuali nella ricostruzione semantica e per esaminare i modelli di attenzione degli LLM. Nello specifico, proponiamo prima di tutto SemRecScore, una metrica affidabile per quantificare il grado di ricostruzione semantica, e ne validiamo l'efficacia. Utilizzando questa metrica, studiamo come la forma delle parole e le informazioni contestuali influenzino la capacità di ricostruzione semantica degli LLM, identificando la forma delle parole come il fattore centrale in questo processo. Inoltre, analizziamo come gli LLM utilizzino la forma delle parole e scopriamo che si affidano a teste di attenzione specializzate per estrarre e elaborare le informazioni sulla forma delle parole, con questo meccanismo che rimane stabile a diversi livelli di rimescolamento delle parole. Questa distinzione tra i modelli di attenzione fissi degli LLM, principalmente focalizzati sulla forma delle parole, e la strategia adattiva dei lettori umani nel bilanciare forma delle parole e informazioni contestuali, fornisce spunti per migliorare le prestazioni degli LLM incorporando meccanismi simili a quelli umani, consapevoli del contesto.

English

Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.