Un Agente de Lectura Inspirado en Humanos con Memoria de Esencia para Contextos Muy Largos

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

February 15, 2024

Autores: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs) actuales no solo están limitados a una longitud máxima de contexto, sino que tampoco son capaces de procesar de manera robusta entradas extensas. Para abordar estas limitaciones, proponemos ReadAgent, un sistema de agente basado en LLMs que aumenta la longitud efectiva del contexto hasta 20 veces en nuestros experimentos. Inspirados en cómo los humanos leen interactivamente documentos extensos, implementamos ReadAgent como un sistema de prompts simple que utiliza las capacidades avanzadas de los LLMs para (1) decidir qué contenido almacenar juntos en un episodio de memoria, (2) comprimir esos episodios de memoria en recuerdos episódicos breves llamados "recuerdos esenciales" (gist memories), y (3) realizar acciones para buscar pasajes en el texto original si ReadAgent necesita recordar detalles relevantes para completar una tarea. Evaluamos ReadAgent comparándolo con métodos de recuperación de referencia, utilizando los contextos largos originales y empleando los recuerdos esenciales. Estas evaluaciones se realizan en tres tareas de comprensión lectora de documentos extensos: QuALITY, NarrativeQA y QMSum. ReadAgent supera a los métodos de referencia en las tres tareas mientras extiende la ventana efectiva de contexto entre 3 y 20 veces.

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.