LongAgent: Taalmodellen schalen naar 128k context door middel van multi-agent samenwerking

LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration

February 18, 2024

Auteurs: Jun Zhao, Can Zu, Hao Xu, Yi Lu, Wei He, Yiwen Ding, Tao Gui, Qi Zhang, Xuanjing Huang

cs.AI

Samenvatting

Grote taalmmodellen (LLMs) hebben indrukwekkende prestaties getoond in het begrijpen van taal en het uitvoeren van complexe redeneertaken. LLMs met lange contextvensters staan echter bekend om hun dure trainingskosten en hoge inferentielatentie. Zelfs de meest geavanceerde modellen zoals GPT-4 en Claude2 maken vaak fouten bij het verwerken van inputs van meer dan 100k tokens, een fenomeen dat ook wel bekend staat als 'lost in the middle'. In dit artikel stellen we LongAgent voor, een methode gebaseerd op multi-agent samenwerking, die LLMs (bijvoorbeeld LLaMA) schaalt naar een context van 128K en potentieel superieure prestaties toont in het verwerken van lange teksten in vergelijking met GPT-4. In LongAgent is een leider verantwoordelijk voor het begrijpen van de gebruikersintentie en het aansturen van teamleden om informatie uit documenten te verkrijgen. Vanwege hallucinaties van de leden is het niet triviaal voor een leider om accurate informatie te verkrijgen uit de reacties van tientallen tot honderden leden. Om dit aan te pakken, ontwikkelen we een communicatiemechanisme tussen leden om responsconflicten veroorzaakt door hallucinaties op te lossen door middel van informatie-uitwisseling. Onze experimentele resultaten geven aan dat LongAgent een veelbelovend alternatief biedt voor het verwerken van lange teksten. Het agententeam geïnstantieerd met LLaMA-7B behaalt significante verbeteringen in taken zoals het ophalen van 128k-lange teksten en multi-hop vraagbeantwoording, vergeleken met GPT-4.

English

Large language models (LLMs) have demonstrated impressive performance in understanding language and executing complex reasoning tasks. However, LLMs with long context windows have been notorious for their expensive training costs and high inference latency. Even the most advanced models such as GPT-4 and Claude2 often make mistakes when processing inputs of over 100k tokens, a phenomenon also known as lost in the middle. In this paper, we propose LongAgent, a method based on multi-agent collaboration, which scales LLMs (e.g., LLaMA) to a context of 128K and demonstrates potential superiority in long-text processing compared to GPT-4. In LongAgent, a leader is responsible for understanding user intent and directing team members to acquire information from documents. Due to members' hallucinations, it is non-trivial for a leader to obtain accurate information from the responses of dozens to hundreds of members. To address this, we develop an inter-member communication mechanism to resolve response conflicts caused by hallucinations through information sharing. Our experimental results indicate that LongAgent offers a promising alternative for long-text processing. The agent team instantiated with LLaMA-7B achieves significant improvements in tasks such as 128k-long text retrieval, multi-hop question answering, compared to GPT-4.