혼돈스러운 맥락을 풀어내는 사고의 실타래

초록

대형 언어 모델(LLMs)은 자연어 처리 분야에 혁신적인 시대를 열며 텍스트 이해 및 생성과 관련된 작업에서 탁월한 성과를 보여주고 있습니다. 그러나 혼란스러운 맥락(예: 긴 관련 없는 맥락이 아닌 방해 요소)에 직면할 때 어려움을 겪으며, 이러한 혼란스러운 맥락 내에서 특정 세부 사항을 의도치 않게 누락시키는 경우가 있습니다. 이러한 문제에 대응하기 위해, 우리는 인간의 인지 과정에서 영감을 받은 "생각의 실"(Thread of Thought, ThoT) 전략을 소개합니다. ThoT는 확장된 맥락을 체계적으로 분할하고 분석하면서 관련 정보를 능숙하게 선택합니다. 이 전략은 다양한 LLMs 및 프롬프트 기법과 원활하게 통합될 수 있는 다용도의 "플러그 앤 플레이" 모듈로 작동합니다. 실험에서는 PopQA 및 EntityQ 데이터셋과 우리가 수집한 다중 턴 대화 응답 데이터셋(Multi-Turn Conversation Response dataset, MTCR)을 활용하여 ThoT가 다른 프롬프트 기법에 비해 추론 성능을 크게 향상시킨다는 것을 입증합니다.

English

Large Language Models (LLMs) have ushered in a transformative era in the field of natural language processing, excelling in tasks related to text comprehension and generation. Nevertheless, they encounter difficulties when confronted with chaotic contexts (e.g., distractors rather than long irrelevant context), leading to the inadvertent omission of certain details within the chaotic context. In response to these challenges, we introduce the "Thread of Thought" (ThoT) strategy, which draws inspiration from human cognitive processes. ThoT systematically segments and analyzes extended contexts while adeptly selecting pertinent information. This strategy serves as a versatile "plug-and-play" module, seamlessly integrating with various LLMs and prompting techniques. In the experiments, we utilize the PopQA and EntityQ datasets, as well as a Multi-Turn Conversation Response dataset (MTCR) we collected, to illustrate that ThoT significantly improves reasoning performance compared to other prompting techniques.

혼돈스러운 맥락을 풀어내는 사고의 실타래

Thread of Thought Unraveling Chaotic Contexts

초록

Support