Ein menscheninspiriertes Lesesystem mit Gedächtnis für den Kerninhalt sehr langer Kontexte

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

February 15, 2024

Autoren: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer

cs.AI

Zusammenfassung

Aktuelle Large Language Models (LLMs) sind nicht nur auf eine maximale Kontextlänge beschränkt, sondern auch nicht in der Lage, lange Eingaben robust zu verarbeiten. Um diese Einschränkungen zu überwinden, schlagen wir ReadAgent vor, ein LLM-Agentensystem, das in unseren Experimenten die effektive Kontextlänge um bis zu das 20-fache erhöht. Inspiriert davon, wie Menschen interaktiv lange Dokumente lesen, implementieren wir ReadAgent als ein einfaches Prompting-System, das die fortgeschrittenen Sprachfähigkeiten von LLMs nutzt, um (1) zu entscheiden, welche Inhalte gemeinsam in einer Gedächtnisepisode gespeichert werden sollen, (2) diese Gedächtnisepisoden in kurze episodische Erinnerungen, sogenannte Gist-Erinnerungen, zu komprimieren, und (3) Aktionen durchzuführen, um Passagen im Originaltext nachzuschlagen, falls ReadAgent sich relevanter Details erinnern muss, um eine Aufgabe zu erfüllen. Wir evaluieren ReadAgent im Vergleich zu Baseline-Methoden, die Retrieval-Verfahren, den ursprünglichen langen Kontext oder die Gist-Erinnerungen verwenden. Diese Bewertungen werden anhand von drei Aufgaben zur Leseverständnis langer Dokumente durchgeführt: QuALITY, NarrativeQA und QMSum. ReadAgent übertrifft die Baseline-Methoden bei allen drei Aufgaben und erweitert gleichzeitig das effektive Kontextfenster um das 3- bis 20-fache.

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.