LongAgent: Масштабирование языковых моделей до контекста в 128k токенов с помощью мультиагентного взаимодействия

LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration

February 18, 2024

Авторы: Jun Zhao, Can Zu, Hao Xu, Yi Lu, Wei He, Yiwen Ding, Tao Gui, Qi Zhang, Xuanjing Huang

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие результаты в понимании языка и выполнении сложных задач логического рассуждения. Однако LLM с длинными контекстными окнами печально известны своими высокими затратами на обучение и значительной задержкой при выводе. Даже самые передовые модели, такие как GPT-4 и Claude2, часто допускают ошибки при обработке входных данных объемом более 100 тысяч токенов — явление, известное как "потеря в середине". В данной статье мы предлагаем LongAgent — метод, основанный на многоагентном взаимодействии, который масштабирует LLM (например, LLaMA) до контекста в 128 тысяч токенов и демонстрирует потенциальное превосходство в обработке длинных текстов по сравнению с GPT-4. В LongAgent лидер отвечает за понимание намерений пользователя и направляет членов команды на извлечение информации из документов. Из-за галлюцинаций членов команды лидеру непросто получить точную информацию из ответов десятков или сотен участников. Для решения этой проблемы мы разработали механизм взаимодействия между членами команды, который устраняет конфликты в ответах, вызванные галлюцинациями, путем обмена информацией. Наши экспериментальные результаты показывают, что LongAgent предлагает перспективную альтернативу для обработки длинных текстов. Команда агентов, реализованная на основе LLaMA-7B, демонстрирует значительные улучшения в задачах, таких как поиск в текстах длиной 128 тысяч токенов и многошаговое ответы на вопросы, по сравнению с GPT-4.

English

Large language models (LLMs) have demonstrated impressive performance in understanding language and executing complex reasoning tasks. However, LLMs with long context windows have been notorious for their expensive training costs and high inference latency. Even the most advanced models such as GPT-4 and Claude2 often make mistakes when processing inputs of over 100k tokens, a phenomenon also known as lost in the middle. In this paper, we propose LongAgent, a method based on multi-agent collaboration, which scales LLMs (e.g., LLaMA) to a context of 128K and demonstrates potential superiority in long-text processing compared to GPT-4. In LongAgent, a leader is responsible for understanding user intent and directing team members to acquire information from documents. Due to members' hallucinations, it is non-trivial for a leader to obtain accurate information from the responses of dozens to hundreds of members. To address this, we develop an inter-member communication mechanism to resolve response conflicts caused by hallucinations through information sharing. Our experimental results indicate that LongAgent offers a promising alternative for long-text processing. The agent team instantiated with LLaMA-7B achieves significant improvements in tasks such as 128k-long text retrieval, multi-hop question answering, compared to GPT-4.