PEARL: Orientando Modelos de Linguagem de Grande Porte para Planejar e Executar Ações em Documentos Longos

PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents

May 23, 2023

Autores: Simeng Sun, Yang Liu, Shuohang Wang, Chenguang Zhu, Mohit Iyyer

cs.AI

Resumo

Estratégias como o prompting de cadeia de pensamento melhoram o desempenho de modelos de linguagem de grande escala (LLMs) em tarefas de raciocínio complexo ao decompor exemplos de entrada em etapas intermediárias. No entanto, ainda não está claro como aplicar tais métodos para raciocinar sobre documentos longos, nos quais tanto a decomposição quanto a saída de cada etapa intermediária são difíceis de obter. Neste trabalho, propomos o PEARL, um framework de prompting para melhorar o raciocínio sobre documentos longos, que consiste em três estágios: mineração de ações, formulação de planos e execução de planos. Mais especificamente, dada uma questão sobre um documento longo, o PEARL decompõe a questão em uma sequência de ações (por exemplo, RESUMIR, ENCONTRAR_EVENTO, ENCONTRAR_RELAÇÃO) e, em seguida, as executa sobre o documento para obter a resposta. Cada estágio do PEARL é implementado por meio de prompting zero-shot ou few-shot de LLMs (em nosso trabalho, GPT-4) com mínimo input humano. Avaliamos o PEARL em um subconjunto desafiador do conjunto de dados QuALITY, que contém questões que exigem raciocínio complexo sobre textos narrativos longos. O PEARL supera o prompting zero-shot e de cadeia de pensamento nesse conjunto de dados, e experimentos de ablação mostram que cada estágio do PEARL é crítico para seu desempenho. No geral, o PEARL é um primeiro passo para aproveitar LLMs para raciocinar sobre documentos longos.

English

Strategies such as chain-of-thought prompting improve the performance of large language models (LLMs) on complex reasoning tasks by decomposing input examples into intermediate steps. However, it remains unclear how to apply such methods to reason over long input documents, in which both the decomposition and the output of each intermediate step are non-trivial to obtain. In this work, we propose PEARL, a prompting framework to improve reasoning over long documents, which consists of three stages: action mining, plan formulation, and plan execution. More specifically, given a question about a long document, PEARL decomposes the question into a sequence of actions (e.g., SUMMARIZE, FIND_EVENT, FIND_RELATION) and then executes them over the document to obtain the answer. Each stage of PEARL is implemented via zero-shot or few-shot prompting of LLMs (in our work, GPT-4) with minimal human input. We evaluate PEARL on a challenging subset of the QuALITY dataset, which contains questions that require complex reasoning over long narrative texts. PEARL outperforms zero-shot and chain-of-thought prompting on this dataset, and ablation experiments show that each stage of PEARL is critical to its performance. Overall, PEARL is a first step towards leveraging LLMs to reason over long documents.