매우 긴 문맥의 요점 기억을 갖춘 인간 영감형 독서 에이전트

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

February 15, 2024

저자: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer

cs.AI

초록

현재의 대형 언어 모델(LLMs)은 최대 컨텍스트 길이에 제한될 뿐만 아니라, 긴 입력을 견고하게 처리하는 데에도 한계가 있습니다. 이러한 한계를 해결하기 위해, 우리는 실험에서 효과적인 컨텍스트 길이를 최대 20배까지 증가시키는 LLM 에이전트 시스템인 ReadAgent를 제안합니다. 인간이 긴 문서를 상호작용적으로 읽는 방식에서 영감을 받아, ReadAgent는 LLM의 고급 언어 능력을 활용하여 (1) 어떤 내용을 메모리 에피소드에 함께 저장할지 결정하고, (2) 이러한 메모리 에피소드를 짧은 에피소드 메모리인 요약 메모리(gist memories)로 압축하며, (3) 작업을 완료하기 위해 관련 세부 사항을 상기할 필요가 있을 때 원본 텍스트의 구절을 찾아보는 행동을 취하는 간단한 프롬프트 시스템으로 구현되었습니다. 우리는 ReadAgent를 검색 방법, 원본 긴 컨텍스트, 그리고 요약 메모리를 사용한 베이스라인과 비교 평가했습니다. 이러한 평가는 세 가지 장문 독해 과제인 QuALITY, NarrativeQA, 그리고 QMSum에서 수행되었습니다. ReadAgent는 세 가지 과제 모두에서 베이스라인을 능가하면서 효과적인 컨텍스트 창을 3-20배까지 확장했습니다.

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.