Desvendando Contextos Caóticos com o Fio do Pensamento

Thread of Thought Unraveling Chaotic Contexts

November 15, 2023

Autores: Yucheng Zhou, Xiubo Geng, Tao Shen, Chongyang Tao, Guodong Long, Jian-Guang Lou, Jianbing Shen

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) inauguraram uma era transformadora no campo do processamento de linguagem natural, destacando-se em tarefas relacionadas à compreensão e geração de texto. No entanto, eles enfrentam dificuldades quando confrontados com contextos caóticos (por exemplo, distratores em vez de contextos longos irrelevantes), levando à omissão inadvertida de certos detalhes dentro do contexto caótico. Em resposta a esses desafios, introduzimos a estratégia "Thread of Thought" (ThoT), que se inspira nos processos cognitivos humanos. O ThoT segmenta e analisa sistematicamente contextos extensos, ao mesmo tempo em que seleciona habilmente informações pertinentes. Essa estratégia serve como um módulo versátil "plug-and-play", integrando-se perfeitamente a vários LLMs e técnicas de prompting. Nos experimentos, utilizamos os conjuntos de dados PopQA e EntityQ, bem como um conjunto de dados de Resposta em Conversas Multi-Turn (MTCR) que coletamos, para demonstrar que o ThoT melhora significativamente o desempenho de raciocínio em comparação com outras técnicas de prompting.

English

Large Language Models (LLMs) have ushered in a transformative era in the field of natural language processing, excelling in tasks related to text comprehension and generation. Nevertheless, they encounter difficulties when confronted with chaotic contexts (e.g., distractors rather than long irrelevant context), leading to the inadvertent omission of certain details within the chaotic context. In response to these challenges, we introduce the "Thread of Thought" (ThoT) strategy, which draws inspiration from human cognitive processes. ThoT systematically segments and analyzes extended contexts while adeptly selecting pertinent information. This strategy serves as a versatile "plug-and-play" module, seamlessly integrating with various LLMs and prompting techniques. In the experiments, we utilize the PopQA and EntityQ datasets, as well as a Multi-Turn Conversation Response dataset (MTCR) we collected, to illustrate that ThoT significantly improves reasoning performance compared to other prompting techniques.