Un Agente di Lettura Ispirato all'Umano con Memoria dell'Essenza per Contesti Molto Lunghi

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

February 15, 2024

Autori: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer

cs.AI

Abstract

Gli attuali Modelli Linguistici di Grande Dimensione (LLM) non solo sono limitati da una lunghezza massima del contesto, ma non sono nemmeno in grado di elaborare in modo robusto input lunghi. Per affrontare queste limitazioni, proponiamo ReadAgent, un sistema di agenti LLM che aumenta la lunghezza effettiva del contesto fino a 20 volte nei nostri esperimenti. Ispirati dal modo in cui gli esseri umani leggono interattivamente documenti lunghi, implementiamo ReadAgent come un semplice sistema di prompt che utilizza le avanzate capacità linguistiche degli LLM per (1) decidere quali contenuti memorizzare insieme in un episodio di memoria, (2) comprimere tali episodi di memoria in brevi memorie episodiche chiamate memorie essenziali (gist memories), e (3) intraprendere azioni per cercare passaggi nel testo originale se ReadAgent ha bisogno di ricordarsi dettagli rilevanti per completare un compito. Valutiamo ReadAgent confrontandolo con baseline che utilizzano metodi di recupero, che utilizzano i contesti lunghi originali e che utilizzano le memorie essenziali. Queste valutazioni vengono eseguite su tre compiti di comprensione della lettura di documenti lunghi: QuALITY, NarrativeQA e QMSum. ReadAgent supera le baseline in tutti e tre i compiti, estendendo la finestra del contesto effettivo di 3-20 volte.

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.