Fil de Pensée : Démêler les Contexts Chaotiques

Thread of Thought Unraveling Chaotic Contexts

November 15, 2023

Auteurs: Yucheng Zhou, Xiubo Geng, Tao Shen, Chongyang Tao, Guodong Long, Jian-Guang Lou, Jianbing Shen

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) ont inauguré une ère transformative dans le domaine du traitement du langage naturel, excellant dans les tâches liées à la compréhension et à la génération de texte. Néanmoins, ils rencontrent des difficultés lorsqu'ils sont confrontés à des contextes chaotiques (par exemple, des distracteurs plutôt qu'un contexte long et non pertinent), ce qui entraîne l'omission involontaire de certains détails dans ce contexte chaotique. Pour répondre à ces défis, nous introduisons la stratégie "Fil de la Pensée" (Thread of Thought, ThoT), qui s'inspire des processus cognitifs humains. ThoT segmente et analyse systématiquement les contextes étendus tout en sélectionnant habilement les informations pertinentes. Cette stratégie sert de module "plug-and-play" polyvalent, s'intégrant de manière transparente à divers LLMs et techniques d'incitation. Dans les expériences, nous utilisons les ensembles de données PopQA et EntityQ, ainsi qu'un ensemble de données de réponses conversationnelles multi-tours (MTCR) que nous avons collecté, pour démontrer que ThoT améliore significativement les performances de raisonnement par rapport à d'autres techniques d'incitation.

English

Large Language Models (LLMs) have ushered in a transformative era in the field of natural language processing, excelling in tasks related to text comprehension and generation. Nevertheless, they encounter difficulties when confronted with chaotic contexts (e.g., distractors rather than long irrelevant context), leading to the inadvertent omission of certain details within the chaotic context. In response to these challenges, we introduce the "Thread of Thought" (ThoT) strategy, which draws inspiration from human cognitive processes. ThoT systematically segments and analyzes extended contexts while adeptly selecting pertinent information. This strategy serves as a versatile "plug-and-play" module, seamlessly integrating with various LLMs and prompting techniques. In the experiments, we utilize the PopQA and EntityQ datasets, as well as a Multi-Turn Conversation Response dataset (MTCR) we collected, to illustrate that ThoT significantly improves reasoning performance compared to other prompting techniques.