Em Busca de Agulhas em um Palheiro de 10 Milhões: Memória Recorrente Encontra o que os LLMs Perdem

In Search of Needles in a 10M Haystack: Recurrent Memory Finds What LLMs Miss

February 16, 2024

Autores: Yuri Kuratov, Aydar Bulatov, Petr Anokhin, Dmitry Sorokin, Artyom Sorokin, Mikhail Burtsev

cs.AI

Resumo

Este artigo aborda o desafio de processar documentos longos utilizando modelos generativos baseados em transformadores. Para avaliar diferentes abordagens, introduzimos o BABILong, um novo benchmark projetado para avaliar as capacidades dos modelos em extrair e processar fatos distribuídos em textos extensos. Nossa avaliação, que inclui benchmarks para GPT-4 e RAG, revela que os métodos comuns são eficazes apenas para sequências de até 10^4 elementos. Em contraste, o ajuste fino do GPT-2 com aprimoramentos de memória recorrente permite que ele lide com tarefas envolvendo até 10^7 elementos. Essa conquista representa um salto substancial, pois é de longe a entrada mais longa processada por qualquer modelo de rede neural aberta até o momento, demonstrando uma melhoria significativa nas capacidades de processamento para sequências longas.

English

This paper addresses the challenge of processing long documents using generative transformer models. To evaluate different approaches, we introduce BABILong, a new benchmark designed to assess model capabilities in extracting and processing distributed facts within extensive texts. Our evaluation, which includes benchmarks for GPT-4 and RAG, reveals that common methods are effective only for sequences up to 10^4 elements. In contrast, fine-tuning GPT-2 with recurrent memory augmentations enables it to handle tasks involving up to 10^7 elements. This achievement marks a substantial leap, as it is by far the longest input processed by any open neural network model to date, demonstrating a significant improvement in the processing capabilities for long sequences.