10Mの干し草の山から針を探す：リカレントメモリがLLMsが見逃すものを発見

In Search of Needles in a 10M Haystack: Recurrent Memory Finds What LLMs Miss

February 16, 2024

著者: Yuri Kuratov, Aydar Bulatov, Petr Anokhin, Dmitry Sorokin, Artyom Sorokin, Mikhail Burtsev

cs.AI

要旨

本論文は、生成型トランスフォーマーモデルを用いて長文書を処理する課題に取り組む。異なるアプローチを評価するため、広範なテキスト内に分散する事実を抽出・処理するモデルの能力を測定する新しいベンチマーク「BABILong」を導入した。GPT-4とRAGを含む評価の結果、一般的な手法は10^4要素までのシーケンスにしか有効でないことが明らかになった。一方、リカレントメモリ拡張を施してGPT-2をファインチューニングすることで、10^7要素までのタスクを処理可能となった。この成果は、これまでに公開されているニューラルネットワークモデルの中で最も長い入力処理を実現したものであり、長いシーケンスに対する処理能力の大幅な向上を示している。

English

This paper addresses the challenge of processing long documents using generative transformer models. To evaluate different approaches, we introduce BABILong, a new benchmark designed to assess model capabilities in extracting and processing distributed facts within extensive texts. Our evaluation, which includes benchmarks for GPT-4 and RAG, reveals that common methods are effective only for sequences up to 10^4 elements. In contrast, fine-tuning GPT-2 with recurrent memory augmentations enables it to handle tasks involving up to 10^7 elements. This achievement marks a substantial leap, as it is by far the longest input processed by any open neural network model to date, demonstrating a significant improvement in the processing capabilities for long sequences.