PEARL: Prompting di Modelli Linguistici di Grande Scala per Pianificare ed Eseguire Azioni su Documenti Estesi

PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents

May 23, 2023

Autori: Simeng Sun, Yang Liu, Shuohang Wang, Chenguang Zhu, Mohit Iyyer

cs.AI

Abstract

Strategie come il prompting a catena di pensiero migliorano le prestazioni dei grandi modelli linguistici (LLM) su compiti di ragionamento complesso scomponendo gli esempi di input in passaggi intermedi. Tuttavia, rimane poco chiaro come applicare tali metodi per ragionare su documenti di input lunghi, in cui sia la scomposizione che l'output di ciascun passaggio intermedio sono non banali da ottenere. In questo lavoro, proponiamo PEARL, un framework di prompting per migliorare il ragionamento su documenti lunghi, che consiste in tre fasi: estrazione di azioni, formulazione del piano ed esecuzione del piano. Più specificamente, data una domanda su un documento lungo, PEARL scompone la domanda in una sequenza di azioni (ad esempio, RIASSUNTO, TROVA_EVENTO, TROVA_RELAZIONE) e poi le esegue sul documento per ottenere la risposta. Ogni fase di PEARL è implementata tramite prompting zero-shot o few-shot di LLM (nel nostro lavoro, GPT-4) con un input umano minimo. Valutiamo PEARL su un sottoinsieme impegnativo del dataset QuALITY, che contiene domande che richiedono un ragionamento complesso su testi narrativi lunghi. PEARL supera il prompting zero-shot e a catena di pensiero su questo dataset, e gli esperimenti di ablazione mostrano che ogni fase di PEARL è cruciale per le sue prestazioni. Nel complesso, PEARL rappresenta un primo passo verso lo sfruttamento degli LLM per ragionare su documenti lunghi.

English

Strategies such as chain-of-thought prompting improve the performance of large language models (LLMs) on complex reasoning tasks by decomposing input examples into intermediate steps. However, it remains unclear how to apply such methods to reason over long input documents, in which both the decomposition and the output of each intermediate step are non-trivial to obtain. In this work, we propose PEARL, a prompting framework to improve reasoning over long documents, which consists of three stages: action mining, plan formulation, and plan execution. More specifically, given a question about a long document, PEARL decomposes the question into a sequence of actions (e.g., SUMMARIZE, FIND_EVENT, FIND_RELATION) and then executes them over the document to obtain the answer. Each stage of PEARL is implemented via zero-shot or few-shot prompting of LLMs (in our work, GPT-4) with minimal human input. We evaluate PEARL on a challenging subset of the QuALITY dataset, which contains questions that require complex reasoning over long narrative texts. PEARL outperforms zero-shot and chain-of-thought prompting on this dataset, and ablation experiments show that each stage of PEARL is critical to its performance. Overall, PEARL is a first step towards leveraging LLMs to reason over long documents.