Een door mensen geïnspireerde leesagent met een gistgeheugen voor zeer lange contexten

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

February 15, 2024

Auteurs: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer

cs.AI

Samenvatting

Huidige Large Language Models (LLMs) zijn niet alleen beperkt tot een maximale contextlengte, maar zijn ook niet in staat om lange invoeren robuust te verwerken. Om deze beperkingen aan te pakken, stellen we ReadAgent voor, een LLM-agentensysteem dat in onze experimenten de effectieve contextlengte tot wel 20x vergroot. Geïnspireerd door hoe mensen interactief lange documenten lezen, implementeren we ReadAgent als een eenvoudig promptsysteem dat gebruikmaakt van de geavanceerde taalvaardigheden van LLMs om (1) te beslissen welke inhoud samen in een geheugenepisode wordt opgeslagen, (2) die geheugenepisodes te comprimeren tot korte episodische herinneringen, zogenaamde gist-herinneringen, en (3) acties te ondernemen om passages in de oorspronkelijke tekst op te zoeken als ReadAgent zichzelf relevante details moet herinneren om een taak te voltooien. We evalueren ReadAgent tegen baseline-methoden die gebruikmaken van retrievalsystemen, de oorspronkelijke lange contexten en de gist-herinneringen. Deze evaluaties worden uitgevoerd op drie langdocument-leesbegriptaken: QuALITY, NarrativeQA en QMSum. ReadAgent presteert beter dan de baseline-methoden op alle drie de taken, terwijl het de effectieve contextvenster met 3-20x uitbreidt.

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.