Оценка сверхдолгосрочной памяти диалогов у агентов на основе крупных языковых моделей
Evaluating Very Long-Term Conversational Memory of LLM Agents
February 27, 2024
Авторы: Adyasha Maharana, Dong-Ho Lee, Sergey Tulyakov, Mohit Bansal, Francesco Barbieri, Yuwei Fang
cs.AI
Аннотация
Существующие работы по долгосрочным открытым диалогам сосредоточены на оценке ответов моделей в контекстах, охватывающих не более пяти сессий чата. Несмотря на прогресс в области моделей с длинным контекстом (LLM) и методов генерации с использованием извлечения данных (RAG), их эффективность в очень долгосрочных диалогах остается неисследованной. Чтобы восполнить этот пробел, мы представляем машинно-человеческий конвейер для генерации высококачественных, очень долгосрочных диалогов, используя архитектуры агентов на основе LLM и основывая их диалоги на персонажах и временных графах событий. Кроме того, мы наделяем каждого агента возможностью делиться изображениями и реагировать на них. Сгенерированные диалоги проверяются и редактируются аннотаторами для обеспечения долгосрочной согласованности и привязки к графам событий. С помощью этого конвейера мы собираем LoCoMo — набор данных очень долгосрочных диалогов, каждый из которых включает в среднем 300 реплик и 9K токенов, охватывая до 35 сессий. На основе LoCoMo мы представляем комплексный эталонный тест для оценки долгосрочной памяти моделей, включающий задачи ответов на вопросы, суммирования событий и генерации мультимодальных диалогов. Наши экспериментальные результаты показывают, что LLM сталкиваются с трудностями в понимании длинных диалогов и осмыслении долгосрочных временных и причинно-следственных динамик внутри них. Использование стратегий, таких как LLM с длинным контекстом или RAG, может предложить улучшения, но эти модели все еще значительно отстают от человеческой производительности.
English
Existing works on long-term open-domain dialogues focus on evaluating model
responses within contexts spanning no more than five chat sessions. Despite
advancements in long-context large language models (LLMs) and retrieval
augmented generation (RAG) techniques, their efficacy in very long-term
dialogues remains unexplored. To address this research gap, we introduce a
machine-human pipeline to generate high-quality, very long-term dialogues by
leveraging LLM-based agent architectures and grounding their dialogues on
personas and temporal event graphs. Moreover, we equip each agent with the
capability of sharing and reacting to images. The generated conversations are
verified and edited by human annotators for long-range consistency and
grounding to the event graphs. Using this pipeline, we collect LoCoMo, a
dataset of very long-term conversations, each encompassing 300 turns and 9K
tokens on avg., over up to 35 sessions. Based on LoCoMo, we present a
comprehensive evaluation benchmark to measure long-term memory in models,
encompassing question answering, event summarization, and multi-modal dialogue
generation tasks. Our experimental results indicate that LLMs exhibit
challenges in understanding lengthy conversations and comprehending long-range
temporal and causal dynamics within dialogues. Employing strategies like
long-context LLMs or RAG can offer improvements but these models still
substantially lag behind human performance.