Draad van Gedachten: Het Ontrafelen van Chaotische Contexten

Thread of Thought Unraveling Chaotic Contexts

November 15, 2023

Auteurs: Yucheng Zhou, Xiubo Geng, Tao Shen, Chongyang Tao, Guodong Long, Jian-Guang Lou, Jianbing Shen

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben een transformatief tijdperk ingeluid op het gebied van natuurlijke taalverwerking, waarbij ze uitblinken in taken gerelateerd aan tekstbegrip en -generatie. Desondanks ondervinden ze moeilijkheden wanneer ze worden geconfronteerd met chaotische contexten (bijvoorbeeld afleiders in plaats van lange irrelevante context), wat leidt tot het onbedoeld weglaten van bepaalde details binnen de chaotische context. Als antwoord op deze uitdagingen introduceren we de "Thread of Thought" (ThoT)-strategie, die inspiratie put uit menselijke cognitieve processen. ThoT segmenteren en analyseren systematisch uitgebreide contexten terwijl ze behendig relevante informatie selecteren. Deze strategie fungeert als een veelzijdige "plug-and-play"-module, die naadloos integreert met verschillende LLMs en promptingtechnieken. In de experimenten gebruiken we de PopQA- en EntityQ-datasets, evenals een Multi-Turn Conversation Response-dataset (MTCR) die we hebben verzameld, om aan te tonen dat ThoT de redeneerprestaties aanzienlijk verbetert in vergelijking met andere promptingtechnieken.

English

Large Language Models (LLMs) have ushered in a transformative era in the field of natural language processing, excelling in tasks related to text comprehension and generation. Nevertheless, they encounter difficulties when confronted with chaotic contexts (e.g., distractors rather than long irrelevant context), leading to the inadvertent omission of certain details within the chaotic context. In response to these challenges, we introduce the "Thread of Thought" (ThoT) strategy, which draws inspiration from human cognitive processes. ThoT systematically segments and analyzes extended contexts while adeptly selecting pertinent information. This strategy serves as a versatile "plug-and-play" module, seamlessly integrating with various LLMs and prompting techniques. In the experiments, we utilize the PopQA and EntityQ datasets, as well as a Multi-Turn Conversation Response dataset (MTCR) we collected, to illustrate that ThoT significantly improves reasoning performance compared to other prompting techniques.