PEARL: Использование подсказок для больших языковых моделей с целью планирования и выполнения действий над длинными документами

PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents

May 23, 2023

Авторы: Simeng Sun, Yang Liu, Shuohang Wang, Chenguang Zhu, Mohit Iyyer

cs.AI

Аннотация

Методы, такие как последовательное рассуждение (chain-of-thought prompting), улучшают производительность больших языковых моделей (LLM) на задачах, требующих сложного анализа, путем разложения входных примеров на промежуточные шаги. Однако остается неясным, как применять такие методы для анализа длинных документов, где как разложение, так и результат каждого промежуточного шага сложно получить. В данной работе мы предлагаем PEARL — фреймворк для улучшения рассуждений над длинными документами, который состоит из трех этапов: извлечение действий, формулирование плана и выполнение плана. Конкретно, задавая вопрос о длинном документе, PEARL разбивает его на последовательность действий (например, SUMMARIZE, FIND_EVENT, FIND_RELATION), а затем выполняет их над документом для получения ответа. Каждый этап PEARL реализуется с помощью zero-shot или few-shot подсказок для LLM (в нашем случае GPT-4) с минимальным участием человека. Мы оцениваем PEARL на сложном подмножестве набора данных QuALITY, содержащем вопросы, требующие сложного анализа длинных повествовательных текстов. PEARL превосходит zero-shot и последовательное рассуждение на этом наборе данных, а эксперименты с удалением компонентов показывают, что каждый этап PEARL важен для его производительности. В целом, PEARL представляет собой первый шаг к использованию LLM для рассуждений над длинными документами.

English

Strategies such as chain-of-thought prompting improve the performance of large language models (LLMs) on complex reasoning tasks by decomposing input examples into intermediate steps. However, it remains unclear how to apply such methods to reason over long input documents, in which both the decomposition and the output of each intermediate step are non-trivial to obtain. In this work, we propose PEARL, a prompting framework to improve reasoning over long documents, which consists of three stages: action mining, plan formulation, and plan execution. More specifically, given a question about a long document, PEARL decomposes the question into a sequence of actions (e.g., SUMMARIZE, FIND_EVENT, FIND_RELATION) and then executes them over the document to obtain the answer. Each stage of PEARL is implemented via zero-shot or few-shot prompting of LLMs (in our work, GPT-4) with minimal human input. We evaluate PEARL on a challenging subset of the QuALITY dataset, which contains questions that require complex reasoning over long narrative texts. PEARL outperforms zero-shot and chain-of-thought prompting on this dataset, and ablation experiments show that each stage of PEARL is critical to its performance. Overall, PEARL is a first step towards leveraging LLMs to reason over long documents.