Auf der Suche nach Nadeln im 10M-Heuhaufen: Rekurrente Speicher finden, was LLMs übersehen

papers.abstract

Diese Arbeit befasst sich mit der Herausforderung, lange Dokumente mit generativen Transformer-Modellen zu verarbeiten. Um verschiedene Ansätze zu bewerten, führen wir BABILong ein, einen neuen Benchmark, der darauf abzielt, die Fähigkeiten von Modellen zur Extraktion und Verarbeitung verteilter Fakten in umfangreichen Texten zu bewerten. Unsere Auswertung, die Benchmarks für GPT-4 und RAG umfasst, zeigt, dass gängige Methoden nur für Sequenzen mit bis zu 10^4 Elementen effektiv sind. Im Gegensatz dazu ermöglicht das Feinabstimmen von GPT-2 mit rekurrenten Speichererweiterungen die Bewältigung von Aufgaben mit bis zu 10^7 Elementen. Dieser Erfolg stellt einen erheblichen Fortschritt dar, da es sich um den längsten Input handelt, der bisher von einem offenen neuronalen Netzwerkmodell verarbeitet wurde, und zeigt eine signifikante Verbesserung der Verarbeitungsfähigkeiten für lange Sequenzen auf.

English

This paper addresses the challenge of processing long documents using generative transformer models. To evaluate different approaches, we introduce BABILong, a new benchmark designed to assess model capabilities in extracting and processing distributed facts within extensive texts. Our evaluation, which includes benchmarks for GPT-4 and RAG, reveals that common methods are effective only for sequences up to 10^4 elements. In contrast, fine-tuning GPT-2 with recurrent memory augmentations enables it to handle tasks involving up to 10^7 elements. This achievement marks a substantial leap, as it is by far the longest input processed by any open neural network model to date, demonstrating a significant improvement in the processing capabilities for long sequences.

Auf der Suche nach Nadeln im 10M-Heuhaufen: Rekurrente Speicher finden, was LLMs übersehen

In Search of Needles in a 10M Haystack: Recurrent Memory Finds What LLMs Miss

papers.abstract

Support