PEARL: Het aansturen van grote taalmodellen om acties te plannen en uit te voeren over lange documenten

PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents

May 23, 2023

Auteurs: Simeng Sun, Yang Liu, Shuohang Wang, Chenguang Zhu, Mohit Iyyer

cs.AI

Samenvatting

Strategieën zoals chain-of-thought prompting verbeteren de prestaties van grote taalmodellen (LLMs) bij complexe redeneertaken door invoervoorbeelden op te splitsen in tussenliggende stappen. Het blijft echter onduidelijk hoe dergelijke methoden kunnen worden toegepast om te redeneren over lange invoerdocumenten, waarin zowel de opsplitsing als de uitvoer van elke tussenliggende stap niet triviaal zijn om te verkrijgen. In dit werk stellen we PEARL voor, een prompting-framework om het redeneren over lange documenten te verbeteren, dat bestaat uit drie fasen: actie-extractie, planformulering en planuitvoering. Meer specifiek deelt PEARL, gegeven een vraag over een lang document, de vraag op in een reeks acties (bijv. SUMMARIZE, FIND_EVENT, FIND_RELATION) en voert deze vervolgens uit over het document om het antwoord te verkrijgen. Elke fase van PEARL wordt geïmplementeerd via zero-shot of few-shot prompting van LLMs (in ons werk, GPT-4) met minimale menselijke input. We evalueren PEARL op een uitdagende subset van de QuALITY-dataset, die vragen bevat die complex redeneren over lange narratieve teksten vereisen. PEARL presteert beter dan zero-shot en chain-of-thought prompting op deze dataset, en ablatie-experimenten tonen aan dat elke fase van PEARL cruciaal is voor de prestaties. Over het algemeen is PEARL een eerste stap naar het benutten van LLMs om te redeneren over lange documenten.

English

Strategies such as chain-of-thought prompting improve the performance of large language models (LLMs) on complex reasoning tasks by decomposing input examples into intermediate steps. However, it remains unclear how to apply such methods to reason over long input documents, in which both the decomposition and the output of each intermediate step are non-trivial to obtain. In this work, we propose PEARL, a prompting framework to improve reasoning over long documents, which consists of three stages: action mining, plan formulation, and plan execution. More specifically, given a question about a long document, PEARL decomposes the question into a sequence of actions (e.g., SUMMARIZE, FIND_EVENT, FIND_RELATION) and then executes them over the document to obtain the answer. Each stage of PEARL is implemented via zero-shot or few-shot prompting of LLMs (in our work, GPT-4) with minimal human input. We evaluate PEARL on a challenging subset of the QuALITY dataset, which contains questions that require complex reasoning over long narrative texts. PEARL outperforms zero-shot and chain-of-thought prompting on this dataset, and ablation experiments show that each stage of PEARL is critical to its performance. Overall, PEARL is a first step towards leveraging LLMs to reason over long documents.