단어 형태의 중요성: 타이포글리세미아 상황에서의 대형 언어 모델의 의미 재구성

Word Form Matters: LLMs' Semantic Reconstruction under Typoglycemia

March 3, 2025

저자: Chenxi Wang, Tianle Gu, Zhongyu Wei, Lang Gao, Zirui Song, Xiuying Chen

cs.AI

초록

인간 독자들은 단어 형태에 주로 의존하여 뒤섞인 단어를 효율적으로 이해할 수 있으며, 이러한 현상을 타이포글리세미아(Typoglycemia)라고 부릅니다. 단어 형태만으로는 부족할 경우, 추가적으로 문맥적 단서를 활용하여 해석합니다. 고도로 발전된 대형 언어 모델(LLM)도 유사한 능력을 보이지만, 그 근본적인 메커니즘은 여전히 명확하지 않습니다. 이를 조사하기 위해, 우리는 통제된 실험을 통해 단어 형태와 문맥 정보가 의미 재구성에 미치는 역할을 분석하고, LLM의 주의 패턴을 검토합니다. 구체적으로, 우리는 먼저 의미 재구성 정도를 정량화하는 신뢰할 수 있는 지표인 SemRecScore를 제안하고, 그 효과성을 검증합니다. 이 지표를 사용하여 단어 형태와 문맥 정보가 LLM의 의미 재구성 능력에 미치는 영향을 연구하며, 이 과정에서 단어 형태가 핵심 요소임을 확인합니다. 더 나아가, LLM이 단어 형태를 어떻게 활용하는지 분석한 결과, LLM은 특수화된 주의 헤드를 사용하여 단어 형태 정보를 추출하고 처리하며, 이 메커니즘은 단어 뒤섞임 정도에 관계없이 안정적으로 유지됨을 발견했습니다. 단어 형태에 주로 초점을 맞춘 LLM의 고정된 주의 패턴과 단어 형태와 문맥 정보를 균형 있게 활용하는 인간 독자의 적응적 전략 간의 이러한 차이는, 인간과 같은 문맥 인식 메커니즘을 통합하여 LLM 성능을 향상시킬 수 있는 통찰을 제공합니다.

English

Human readers can efficiently comprehend scrambled words, a phenomenon known as Typoglycemia, primarily by relying on word form; if word form alone is insufficient, they further utilize contextual cues for interpretation. While advanced large language models (LLMs) exhibit similar abilities, the underlying mechanisms remain unclear. To investigate this, we conduct controlled experiments to analyze the roles of word form and contextual information in semantic reconstruction and examine LLM attention patterns. Specifically, we first propose SemRecScore, a reliable metric to quantify the degree of semantic reconstruction, and validate its effectiveness. Using this metric, we study how word form and contextual information influence LLMs' semantic reconstruction ability, identifying word form as the core factor in this process. Furthermore, we analyze how LLMs utilize word form and find that they rely on specialized attention heads to extract and process word form information, with this mechanism remaining stable across varying levels of word scrambling. This distinction between LLMs' fixed attention patterns primarily focused on word form and human readers' adaptive strategy in balancing word form and contextual information provides insights into enhancing LLM performance by incorporating human-like, context-aware mechanisms.