Um Agente de Leitura Inspirado em Humanos com Memória de Essência para Contextos Muito Longos

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

February 15, 2024

Autores: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer

cs.AI

Resumo

Os atuais Modelos de Linguagem de Grande Escala (LLMs) não apenas estão limitados a um comprimento máximo de contexto, mas também não são capazes de consumir entradas longas de forma robusta. Para abordar essas limitações, propomos o ReadAgent, um sistema de agente LLM que aumenta o comprimento efetivo do contexto em até 20x em nossos experimentos. Inspirados pela forma como os humanos leem documentos longos de maneira interativa, implementamos o ReadAgent como um sistema simples de prompt que utiliza as capacidades avançadas de linguagem dos LLMs para (1) decidir qual conteúdo armazenar juntos em um episódio de memória, (2) comprimir esses episódios de memória em memórias episódicas curtas chamadas memórias de essência (gist memories), e (3) tomar ações para consultar passagens no texto original se o ReadAgent precisar relembrar detalhes relevantes para concluir uma tarefa. Avaliamos o ReadAgent em comparação com métodos de baseline que utilizam técnicas de recuperação, os contextos longos originais e as memórias de essência. Essas avaliações são realizadas em três tarefas de compreensão de leitura de documentos longos: QuALITY, NarrativeQA e QMSum. O ReadAgent supera as baselines em todas as três tarefas, enquanto estende a janela de contexto efetiva em 3-20x.

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.