Un agent de lecture inspiré de l'humain doté d'une mémoire de l'essentiel pour des contextes très longs

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

February 15, 2024

Auteurs: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer

cs.AI

Résumé

Les modèles de langage de grande taille (LLM) actuels ne sont pas seulement limités par une longueur de contexte maximale, mais ils sont également incapables de traiter de manière robuste des entrées longues. Pour surmonter ces limitations, nous proposons ReadAgent, un système d’agent LLM qui augmente la longueur de contexte effective jusqu’à 20 fois dans nos expériences. Inspiré par la manière dont les humains lisent interactivement des documents longs, nous implémentons ReadAgent comme un système d’invite simple qui utilise les capacités linguistiques avancées des LLM pour (1) décider quels contenus stocker ensemble dans un épisode de mémoire, (2) compresser ces épisodes de mémoire en souvenirs épisodiques courts appelés souvenirs essentiels (gist memories), et (3) prendre des actions pour rechercher des passages dans le texte original si ReadAgent a besoin de se rappeler des détails pertinents pour accomplir une tâche. Nous évaluons ReadAgent par rapport à des méthodes de référence utilisant des techniques de récupération, les contextes longs originaux et les souvenirs essentiels. Ces évaluations sont réalisées sur trois tâches de compréhension de lecture de documents longs : QuALITY, NarrativeQA et QMSum. ReadAgent surpasse les méthodes de référence sur les trois tâches tout en étendant la fenêtre de contexte effective de 3 à 20 fois.

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.