人間に着想を得た長文コンテキストの要点記憶を備えた読解エージェント

要旨

現在の大規模言語モデル（LLM）は、最大コンテキスト長に制限されているだけでなく、長い入力を堅牢に処理することができません。これらの制限に対処するため、我々はReadAgentを提案します。これは、実験において有効なコンテキスト長を最大20倍に拡張するLLMエージェントシステムです。人間が長文書をインタラクティブに読む方法に着想を得て、ReadAgentをシンプルなプロンプトシステムとして実装しました。このシステムは、LLMの高度な言語能力を活用して、(1) どの内容をメモリエピソードとして一緒に保存するかを決定し、(2) それらのメモリエピソードを「要約メモリ」と呼ばれる短いエピソード記憶に圧縮し、(3) タスクを完了するために関連する詳細を思い出す必要がある場合、元のテキストのパッセージを参照するアクションを取ります。我々は、ReadAgentを、検索手法を使用したベースライン、元の長いコンテキストを使用したベースライン、および要約メモリを使用したベースラインと比較評価しました。これらの評価は、QuALITY、NarrativeQA、QMSumという3つの長文書読解タスクで実施されました。ReadAgentは、有効なコンテキストウィンドウを3～20倍に拡張しながら、すべてのタスクでベースラインを上回りました。

English

Current Large Language Models (LLMs) are not only limited to some maximum context length, but also are not able to robustly consume long inputs. To address these limitations, we propose ReadAgent, an LLM agent system that increases effective context length up to 20x in our experiments. Inspired by how humans interactively read long documents, we implement ReadAgent as a simple prompting system that uses the advanced language capabilities of LLMs to (1) decide what content to store together in a memory episode, (2) compress those memory episodes into short episodic memories called gist memories, and (3) take actions to look up passages in the original text if ReadAgent needs to remind itself of relevant details to complete a task. We evaluate ReadAgent against baselines using retrieval methods, using the original long contexts, and using the gist memories. These evaluations are performed on three long-document reading comprehension tasks: QuALITY, NarrativeQA, and QMSum. ReadAgent outperforms the baselines on all three tasks while extending the effective context window by 3-20x.

人間に着想を得た長文コンテキストの要点記憶を備えた読解エージェント

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

要旨

Support