Alla ricerca di aghi in un pagliaio da 10 milioni: la memoria ricorrente trova ciò che i grandi modelli linguistici perdono

In Search of Needles in a 10M Haystack: Recurrent Memory Finds What LLMs Miss

February 16, 2024

Autori: Yuri Kuratov, Aydar Bulatov, Petr Anokhin, Dmitry Sorokin, Artyom Sorokin, Mikhail Burtsev

cs.AI

Abstract

Questo articolo affronta la sfida di elaborare documenti lunghi utilizzando modelli generativi basati su trasformatori. Per valutare diversi approcci, introduciamo BABILong, un nuovo benchmark progettato per valutare le capacità dei modelli nell'estrarre e processare fatti distribuiti all'interno di testi estesi. La nostra valutazione, che include benchmark per GPT-4 e RAG, rivela che i metodi comuni sono efficaci solo per sequenze fino a 10^4 elementi. Al contrario, il fine-tuning di GPT-2 con aumentazioni di memoria ricorrenti gli consente di gestire compiti che coinvolgono fino a 10^7 elementi. Questo risultato rappresenta un salto sostanziale, poiché è di gran lunga l'input più lungo elaborato da qualsiasi modello di rete neurale aperto fino ad oggi, dimostrando un miglioramento significativo nelle capacità di elaborazione per sequenze lunghe.

English

This paper addresses the challenge of processing long documents using generative transformer models. To evaluate different approaches, we introduce BABILong, a new benchmark designed to assess model capabilities in extracting and processing distributed facts within extensive texts. Our evaluation, which includes benchmarks for GPT-4 and RAG, reveals that common methods are effective only for sequences up to 10^4 elements. In contrast, fine-tuning GPT-2 with recurrent memory augmentations enables it to handle tasks involving up to 10^7 elements. This achievement marks a substantial leap, as it is by far the longest input processed by any open neural network model to date, demonstrating a significant improvement in the processing capabilities for long sequences.