Faden des Denkens – Entwirrung chaotischer Kontexte

Thread of Thought Unraveling Chaotic Contexts

November 15, 2023

Autoren: Yucheng Zhou, Xiubo Geng, Tao Shen, Chongyang Tao, Guodong Long, Jian-Guang Lou, Jianbing Shen

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben eine transformative Ära im Bereich der natürlichen Sprachverarbeitung eingeleitet und glänzen bei Aufgaben im Zusammenhang mit Textverständnis und -generierung. Dennoch stoßen sie auf Schwierigkeiten, wenn sie mit chaotischen Kontexten konfrontiert werden (z. B. Ablenkungen statt langen irrelevanten Kontexten), was dazu führt, dass bestimmte Details innerhalb des chaotischen Kontexts versehentlich übersehen werden. Als Antwort auf diese Herausforderungen führen wir die „Thread of Thought“ (ThoT)-Strategie ein, die von menschlichen kognitiven Prozessen inspiriert ist. ThoT segmentiert und analysiert systematisch umfangreiche Kontexte und wählt dabei geschickt relevante Informationen aus. Diese Strategie dient als vielseitiges „Plug-and-Play“-Modul, das sich nahtlos in verschiedene LLMs und Prompting-Techniken integrieren lässt. In den Experimenten verwenden wir die PopQA- und EntityQ-Datensätze sowie einen von uns gesammelten Multi-Turn Conversation Response (MTCR)-Datensatz, um zu zeigen, dass ThoT die Reasoning-Leistung im Vergleich zu anderen Prompting-Techniken erheblich verbessert.

English

Large Language Models (LLMs) have ushered in a transformative era in the field of natural language processing, excelling in tasks related to text comprehension and generation. Nevertheless, they encounter difficulties when confronted with chaotic contexts (e.g., distractors rather than long irrelevant context), leading to the inadvertent omission of certain details within the chaotic context. In response to these challenges, we introduce the "Thread of Thought" (ThoT) strategy, which draws inspiration from human cognitive processes. ThoT systematically segments and analyzes extended contexts while adeptly selecting pertinent information. This strategy serves as a versatile "plug-and-play" module, seamlessly integrating with various LLMs and prompting techniques. In the experiments, we utilize the PopQA and EntityQ datasets, as well as a Multi-Turn Conversation Response dataset (MTCR) we collected, to illustrate that ThoT significantly improves reasoning performance compared to other prompting techniques.