Wortform ist entscheidend: Semantische Rekonstruktion von LLMs unter Typoglykämie

Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

March 3, 2025

Autoren: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen

cs.AI

Zusammenfassung

Menschliche Leser können effizient verschlüsselte Wörter verstehen, ein Phänomen, das als Typoglykämie bekannt ist, indem sie sich hauptsächlich auf die Wortform verlassen; wenn die Wortform allein nicht ausreicht, nutzen sie zusätzlich kontextuelle Hinweise zur Interpretation. Während fortschrittliche große Sprachmodelle (LLMs) ähnliche Fähigkeiten aufweisen, bleiben die zugrunde liegenden Mechanismen unklar. Um dies zu untersuchen, führen wir kontrollierte Experimente durch, um die Rollen der Wortform und der kontextuellen Informationen bei der semantischen Rekonstruktion zu analysieren und die Aufmerksamkeitsmuster von LLMs zu untersuchen. Insbesondere schlagen wir zunächst SemRecScore vor, eine zuverlässige Metrik zur Quantifizierung des Grades der semantischen Rekonstruktion, und validieren deren Wirksamkeit. Mit dieser Metrik untersuchen wir, wie die Wortform und kontextuelle Informationen die semantische Rekonstruktionsfähigkeit von LLMs beeinflussen, und identifizieren die Wortform als den Kernfaktor in diesem Prozess. Darüber hinaus analysieren wir, wie LLMs die Wortform nutzen, und stellen fest, dass sie sich auf spezialisierte Aufmerksamkeitsköpfe verlassen, um Wortforminformationen zu extrahieren und zu verarbeiten, wobei dieser Mechanismus über verschiedene Grade der Wortverschlüsselung hinweg stabil bleibt. Dieser Unterschied zwischen den festen Aufmerksamkeitsmustern von LLMs, die sich hauptsächlich auf die Wortform konzentrieren, und der adaptiven Strategie menschlicher Leser, die Wortform und kontextuelle Informationen ausbalanciert, bietet Einblicke in die Verbesserung der Leistung von LLMs durch die Integration von menschenähnlichen, kontextbewussten Mechanismen.

English

Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.