Улучшение рассуждений больших языковых моделей с помощью динамического ведения заметок для сложных вопросно-ответных задач

Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA

May 22, 2025

Авторы: Rishabh Maheshwary, Masoud Hashemi, Khyati Mahajan, Shiva Krishna Reddy Malay, Sai Rajeswar, Sathwik Tejaswi Madhusudhan, Spandana Gella, Vikas Yadav

cs.AI

Аннотация

Итеративный RAG для многошагового ответа на вопросы сталкивается с проблемами при работе с длинными контекстами и накоплением нерелевантной информации. Это затрудняет способность модели обрабатывать и анализировать извлеченный контент, ограничивая её производительность. Хотя современные методы сосредоточены на сжатии извлеченной информации, они либо ограничены одношаговым RAG, требуют тонкой настройки, либо не масштабируются в итеративном RAG. Для решения этих проблем мы предлагаем метод "Записывание заметок", который генерирует краткие и релевантные заметки из извлеченных документов на каждом шаге, тем самым уменьшая шум и сохраняя только важную информацию. Это косвенно увеличивает эффективную длину контекста для больших языковых моделей (LLM), позволяя им более эффективно рассуждать и планировать при обработке больших объемов входного текста. Метод "Записывание заметок" не зависит от конкретной структуры и может быть интегрирован с различными итеративными методами RAG. Мы демонстрируем его эффективность на трех итеративных методах RAG, двух моделях и четырех наборах данных для оценки. "Записывание заметок" обеспечивает среднее улучшение на 15,6 процентных пунктов в целом при минимальном увеличении количества выходных токенов.

English

Iterative RAG for multi-hop question answering faces challenges with lengthy contexts and the buildup of irrelevant information. This hinders a model's capacity to process and reason over retrieved content and limits performance. While recent methods focus on compressing retrieved information, they are either restricted to single-round RAG, require finetuning or lack scalability in iterative RAG. To address these challenges, we propose Notes Writing, a method that generates concise and relevant notes from retrieved documents at each step, thereby reducing noise and retaining only essential information. This indirectly increases the effective context length of Large Language Models (LLMs), enabling them to reason and plan more effectively while processing larger volumes of input text. Notes Writing is framework agnostic and can be integrated with different iterative RAG methods. We demonstrate its effectiveness with three iterative RAG methods, across two models and four evaluation datasets. Notes writing yields an average improvement of 15.6 percentage points overall, with minimal increase in output tokens.