Человекоподобный агент для чтения с кратковременной памятью для обработки очень длинных контекстов

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

February 15, 2024

Авторы: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer

cs.AI

Аннотация

Современные крупные языковые модели (LLM) не только ограничены определенной максимальной длиной контекста, но и не способны надежно обрабатывать длинные входные данные. Чтобы устранить эти ограничения, мы предлагаем ReadAgent — систему на основе LLM, которая в наших экспериментах увеличивает эффективную длину контекста до 20 раз. Вдохновленные тем, как люди интерактивно читают длинные документы, мы реализовали ReadAgent как простую систему подсказок, использующую продвинутые языковые возможности LLM для: (1) определения, какой контент следует сохранять вместе в эпизоде памяти, (2) сжатия этих эпизодов памяти в краткие эпизодические воспоминания, называемые ключевыми воспоминаниями (gist memories), и (3) выполнения действий для поиска фрагментов в исходном тексте, если ReadAgent необходимо напомнить себе о relevant details для выполнения задачи. Мы оцениваем ReadAgent в сравнении с базовыми методами, использующими методы извлечения, исходные длинные контексты и ключевые воспоминания. Эти оценки проводятся на трех задачах понимания длинных документов: QuALITY, NarrativeQA и QMSum. ReadAgent превосходит базовые методы на всех трех задачах, одновременно расширяя эффективное окно контекста в 3–20 раз.

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.