Распутывание хаотичных контекстов с помощью нити мысли
Thread of Thought Unraveling Chaotic Contexts
November 15, 2023
Авторы: Yucheng Zhou, Xiubo Geng, Tao Shen, Chongyang Tao, Guodong Long, Jian-Guang Lou, Jianbing Shen
cs.AI
Аннотация
Крупные языковые модели (LLM) открыли новую эру в области обработки естественного языка, демонстрируя выдающиеся результаты в задачах, связанных с пониманием и генерацией текста. Однако они сталкиваются с трудностями при работе с хаотичными контекстами (например, с отвлекающими элементами, а не с длинными нерелевантными контекстами), что приводит к непреднамеренному упущению определённых деталей в таких условиях. В ответ на эти вызовы мы представляем стратегию "Нить мысли" (Thread of Thought, ThoT), вдохновлённую когнитивными процессами человека. ThoT систематически сегментирует и анализирует длинные контексты, умело выбирая релевантную информацию. Эта стратегия служит универсальным "подключаемым" модулем, который легко интегрируется с различными LLM и методами промптинга. В экспериментах мы используем наборы данных PopQA и EntityQ, а также собранный нами набор данных для многозадачных диалогов (Multi-Turn Conversation Response, MTCR), чтобы продемонстрировать, что ThoT значительно улучшает качество рассуждений по сравнению с другими методами промптинга.
English
Large Language Models (LLMs) have ushered in a transformative era in the
field of natural language processing, excelling in tasks related to text
comprehension and generation. Nevertheless, they encounter difficulties when
confronted with chaotic contexts (e.g., distractors rather than long irrelevant
context), leading to the inadvertent omission of certain details within the
chaotic context. In response to these challenges, we introduce the "Thread of
Thought" (ThoT) strategy, which draws inspiration from human cognitive
processes. ThoT systematically segments and analyzes extended contexts while
adeptly selecting pertinent information. This strategy serves as a versatile
"plug-and-play" module, seamlessly integrating with various LLMs and prompting
techniques. In the experiments, we utilize the PopQA and EntityQ datasets, as
well as a Multi-Turn Conversation Response dataset (MTCR) we collected, to
illustrate that ThoT significantly improves reasoning performance compared to
other prompting techniques.