À la recherche d'aiguilles dans une botte de 10 millions de foin : la mémoire récurrente trouve ce que les LLM manquent

In Search of Needles in a 10M Haystack: Recurrent Memory Finds What LLMs Miss

February 16, 2024

papers.authors: Yuri Kuratov, Aydar Bulatov, Petr Anokhin, Dmitry Sorokin, Artyom Sorokin, Mikhail Burtsev

cs.AI

papers.abstract

Cet article aborde le défi du traitement de documents longs à l'aide de modèles transformeurs génératifs. Pour évaluer différentes approches, nous introduisons BABILong, un nouveau benchmark conçu pour évaluer les capacités des modèles à extraire et traiter des faits distribués dans des textes étendus. Notre évaluation, qui inclut des benchmarks pour GPT-4 et RAG, révèle que les méthodes courantes ne sont efficaces que pour des séquences allant jusqu'à 10^4 éléments. En revanche, le fine-tuning de GPT-2 avec des augmentations de mémoire récurrente lui permet de gérer des tâches impliquant jusqu'à 10^7 éléments. Cette réalisation marque un bond en avant considérable, car il s'agit de loin de l'entrée la plus longue traitée par un modèle de réseau neuronal ouvert à ce jour, démontrant une amélioration significative des capacités de traitement pour les séquences longues.

English

This paper addresses the challenge of processing long documents using generative transformer models. To evaluate different approaches, we introduce BABILong, a new benchmark designed to assess model capabilities in extracting and processing distributed facts within extensive texts. Our evaluation, which includes benchmarks for GPT-4 and RAG, reveals that common methods are effective only for sequences up to 10^4 elements. In contrast, fine-tuning GPT-2 with recurrent memory augmentations enables it to handle tasks involving up to 10^7 elements. This achievement marks a substantial leap, as it is by far the longest input processed by any open neural network model to date, demonstrating a significant improvement in the processing capabilities for long sequences.