OpenDecoder: Открытое декодирование больших языковых моделей для учета качества документов в RAG

OpenDecoder: Open Large Language Model Decoding to Incorporate Document Quality in RAG

January 13, 2026

Авторы: Fengran Mo, Zhan Su, Yuchen Hui, Jinghan Zhang, Jia Ao Sun, Zheyuan Liu, Chao Zhang, Tetsuya Sakai, Jian-Yun Nie

cs.AI

Аннотация

Разработка больших языковых моделей (LLM) позволила достичь превосходных результатов в ряде прикладных задач, включая генерацию с расширением на основе извлечения информации (RAG) с использованием LLM. Качество генерируемого контента в значительной степени зависит от полезности извлеченной информации и способности внутреннего механизма обработки информации LLM интегрировать её в процесс формирования ответа. Обычно предполагается, что извлеченная информация релевантна вопросу. Однако степень релевантности и полезности извлеченной информации может варьироваться в зависимости от конкретного запроса и коллекции документов. Учет релевантности извлеченной информации при генерации ответа является важной задачей. В данной статье мы предлагаем OpenDecoder — новый подход, который использует явную оценку извлеченной информации в качестве признаков-индикаторов качества для генерации. Наша цель — построить RAG-модель, более устойчивую к различным уровням зашумленного контекста. Рассматриваются три типа явной оценочной информации: оценка релевантности, ранговый показатель и оценка QPP (прогнозирование эффективности запроса). Результаты экспериментов на пяти эталонных наборах данных демонстрируют эффективность и лучшую устойчивость OpenDecoder, который превосходит различные базовые методы. Важно отметить, что данная парадигма гибко интегрируется с дообучением LLM для любых целей и может быть дополнена любыми типами внешних индикаторов.

English

The development of large language models (LLMs) has achieved superior performance in a range of downstream tasks, including LLM-based retrieval-augmented generation (RAG). The quality of generated content heavily relies on the usefulness of the retrieved information and the capacity of LLMs' internal information processing mechanism to incorporate it in answer generation. It is generally assumed that the retrieved information is relevant to the question. However, the retrieved information may have a variable degree of relevance and usefulness, depending on the question and the document collection. It is important to take into account the relevance of the retrieved information in answer generation. In this paper, we propose OpenDecoder, a new approach that leverages explicit evaluation of the retrieved information as quality indicator features for generation. We aim to build a RAG model that is more robust to varying levels of noisy context. Three types of explicit evaluation information are considered: relevance score, ranking score, and QPP (query performance prediction) score. The experimental results on five benchmark datasets demonstrate the effectiveness and better robustness of OpenDecoder by outperforming various baseline methods. Importantly, this paradigm is flexible to be integrated with the post-training of LLMs for any purposes and incorporated with any type of external indicators.