PEARL : Inciter les modèles de langage de grande taille à planifier et exécuter des actions sur des documents longs

PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents

May 23, 2023

Auteurs: Simeng Sun, Yang Liu, Shuohang Wang, Chenguang Zhu, Mohit Iyyer

cs.AI

Résumé

Les stratégies telles que l'incitation en chaîne de pensée améliorent les performances des grands modèles de langage (LLMs) sur des tâches de raisonnement complexe en décomposant les exemples d'entrée en étapes intermédiaires. Cependant, il reste incertain comment appliquer de telles méthodes pour raisonner sur des documents d'entrée longs, où à la fois la décomposition et le résultat de chaque étape intermédiaire sont non triviaux à obtenir. Dans ce travail, nous proposons PEARL, un cadre d'incitation pour améliorer le raisonnement sur des documents longs, qui se compose de trois étapes : l'extraction d'actions, la formulation de plan et l'exécution de plan. Plus précisément, étant donné une question sur un document long, PEARL décompose la question en une séquence d'actions (par exemple, RÉSUMER, TROUVER_ÉVÉNEMENT, TROUVER_RELATION) puis les exécute sur le document pour obtenir la réponse. Chaque étape de PEARL est mise en œuvre via une incitation zero-shot ou few-shot des LLMs (dans notre travail, GPT-4) avec un apport humain minimal. Nous évaluons PEARL sur un sous-ensemble difficile du jeu de données QuALITY, qui contient des questions nécessitant un raisonnement complexe sur des textes narratifs longs. PEARL surpasse les incitations zero-shot et en chaîne de pensée sur ce jeu de données, et les expériences d'ablation montrent que chaque étape de PEARL est cruciale pour sa performance. Dans l'ensemble, PEARL représente une première étape vers l'exploitation des LLMs pour raisonner sur des documents longs.

English

Strategies such as chain-of-thought prompting improve the performance of large language models (LLMs) on complex reasoning tasks by decomposing input examples into intermediate steps. However, it remains unclear how to apply such methods to reason over long input documents, in which both the decomposition and the output of each intermediate step are non-trivial to obtain. In this work, we propose PEARL, a prompting framework to improve reasoning over long documents, which consists of three stages: action mining, plan formulation, and plan execution. More specifically, given a question about a long document, PEARL decomposes the question into a sequence of actions (e.g., SUMMARIZE, FIND_EVENT, FIND_RELATION) and then executes them over the document to obtain the answer. Each stage of PEARL is implemented via zero-shot or few-shot prompting of LLMs (in our work, GPT-4) with minimal human input. We evaluate PEARL on a challenging subset of the QuALITY dataset, which contains questions that require complex reasoning over long narrative texts. PEARL outperforms zero-shot and chain-of-thought prompting on this dataset, and ablation experiments show that each stage of PEARL is critical to its performance. Overall, PEARL is a first step towards leveraging LLMs to reason over long documents.