LongAgent : Mise à l'échelle des modèles de langage à un contexte de 128k grâce à une collaboration multi-agent

LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration

February 18, 2024

Auteurs: Jun Zhao, Can Zu, Hao Xu, Yi Lu, Wei He, Yiwen Ding, Tao Gui, Qi Zhang, Xuanjing Huang

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré des performances impressionnantes dans la compréhension du langage et l'exécution de tâches de raisonnement complexes. Cependant, les LLMs avec de longues fenêtres contextuelles sont connus pour leurs coûts d'entraînement élevés et leur latence d'inférence importante. Même les modèles les plus avancés comme GPT-4 et Claude2 commettent souvent des erreurs lors du traitement d'entrées dépassant 100 000 tokens, un phénomène également connu sous le nom de "lost in the middle". Dans cet article, nous proposons LongAgent, une méthode basée sur la collaboration multi-agents, qui permet de mettre à l'échelle des LLMs (par exemple, LLaMA) pour un contexte de 128K et démontre une supériorité potentielle dans le traitement de textes longs par rapport à GPT-4. Dans LongAgent, un leader est responsable de comprendre l'intention de l'utilisateur et de diriger les membres de l'équipe pour acquérir des informations à partir de documents. En raison des hallucinations des membres, il n'est pas trivial pour un leader d'obtenir des informations précises à partir des réponses de dizaines à centaines de membres. Pour résoudre ce problème, nous développons un mécanisme de communication inter-membres pour résoudre les conflits de réponses causés par les hallucinations grâce au partage d'informations. Nos résultats expérimentaux indiquent que LongAgent offre une alternative prometteuse pour le traitement de textes longs. L'équipe d'agents instanciée avec LLaMA-7B réalise des améliorations significatives dans des tâches telles que la recherche de textes de 128k, la réponse à des questions multi-sauts, par rapport à GPT-4.

English

Large language models (LLMs) have demonstrated impressive performance in understanding language and executing complex reasoning tasks. However, LLMs with long context windows have been notorious for their expensive training costs and high inference latency. Even the most advanced models such as GPT-4 and Claude2 often make mistakes when processing inputs of over 100k tokens, a phenomenon also known as lost in the middle. In this paper, we propose LongAgent, a method based on multi-agent collaboration, which scales LLMs (e.g., LLaMA) to a context of 128K and demonstrates potential superiority in long-text processing compared to GPT-4. In LongAgent, a leader is responsible for understanding user intent and directing team members to acquire information from documents. Due to members' hallucinations, it is non-trivial for a leader to obtain accurate information from the responses of dozens to hundreds of members. To address this, we develop an inter-member communication mechanism to resolve response conflicts caused by hallucinations through information sharing. Our experimental results indicate that LongAgent offers a promising alternative for long-text processing. The agent team instantiated with LLaMA-7B achieves significant improvements in tasks such as 128k-long text retrieval, multi-hop question answering, compared to GPT-4.