単語形態の重要性：タイポグリセミア下におけるLLMの意味再構築

Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

March 3, 2025

著者: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen

cs.AI

要旨

人間の読者は、単語の形を主に頼りにして、スクランブルされた単語を効率的に理解することができます。この現象はTypoglycemiaとして知られており、単語の形だけでは不十分な場合、文脈の手がかりをさらに利用して解釈を行います。高度な大規模言語モデル（LLM）も同様の能力を示しますが、その背後にあるメカニズムはまだ明らかではありません。これを調査するために、我々は制御された実験を行い、意味の再構築における単語の形と文脈情報の役割を分析し、LLMの注意パターンを検証します。具体的には、まずSemRecScoreという信頼性の高い指標を提案し、意味の再構築の程度を定量化し、その有効性を検証します。この指標を用いて、単語の形と文脈情報がLLMの意味再構築能力にどのように影響するかを研究し、このプロセスにおける中核的な要因として単語の形を特定します。さらに、LLMが単語の形をどのように利用するかを分析し、LLMが専門的な注意ヘッドを利用して単語の形情報を抽出・処理し、このメカニズムが単語のスクランブルレベルが変化しても安定していることを明らかにします。LLMの単語の形に主に焦点を当てた固定された注意パターンと、人間の読者が単語の形と文脈情報をバランスよく適応させる戦略との違いは、人間のような文脈を意識したメカニズムを組み込むことでLLMの性能を向上させるための洞察を提供します。

English

Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.