OpenDecoder: Abrindo a Decodificação de Modelos de Linguagem de Grande Porte para Incorporar a Qualidade de Documentos no RAG
OpenDecoder: Open Large Language Model Decoding to Incorporate Document Quality in RAG
January 13, 2026
Autores: Fengran Mo, Zhan Su, Yuchen Hui, Jinghan Zhang, Jia Ao Sun, Zheyuan Liu, Chao Zhang, Tetsuya Sakai, Jian-Yun Nie
cs.AI
Resumo
O desenvolvimento de grandes modelos de linguagem (LLMs) alcançou desempenho superior em uma série de tarefas subsequentes, incluindo a geração aumentada por recuperação (RAG) baseada em LLMs. A qualidade do conteúdo gerado depende fortemente da utilidade das informações recuperadas e da capacidade do mecanismo interno de processamento de informações dos LLMs para incorporá-las na geração de respostas. Geralmente assume-se que as informações recuperadas são relevantes para a pergunta. No entanto, as informações recuperadas podem apresentar um grau variável de relevância e utilidade, dependendo da pergunta e da coleção de documentos. É importante levar em conta a relevância das informações recuperadas na geração de respostas. Neste artigo, propomos o OpenDecoder, uma nova abordagem que aproveita a avaliação explícita das informações recuperadas como características indicadoras de qualidade para a geração. Visamos construir um modelo RAG mais robusto a diferentes níveis de contexto ruidoso. Três tipos de informação de avaliação explícita são considerados: pontuação de relevância, pontuação de classificação e pontuação QPP (previsão de desempenho da consulta). Os resultados experimentais em cinco conjuntos de dados de referência demonstram a eficácia e melhor robustez do OpenDecoder ao superar vários métodos de linha de base. Importante destacar que este paradigma é flexível para ser integrado ao pós-treinamento de LLMs para quaisquer fins e incorporado a qualquer tipo de indicador externo.
English
The development of large language models (LLMs) has achieved superior performance in a range of downstream tasks, including LLM-based retrieval-augmented generation (RAG). The quality of generated content heavily relies on the usefulness of the retrieved information and the capacity of LLMs' internal information processing mechanism to incorporate it in answer generation. It is generally assumed that the retrieved information is relevant to the question. However, the retrieved information may have a variable degree of relevance and usefulness, depending on the question and the document collection. It is important to take into account the relevance of the retrieved information in answer generation. In this paper, we propose OpenDecoder, a new approach that leverages explicit evaluation of the retrieved information as quality indicator features for generation. We aim to build a RAG model that is more robust to varying levels of noisy context. Three types of explicit evaluation information are considered: relevance score, ranking score, and QPP (query performance prediction) score. The experimental results on five benchmark datasets demonstrate the effectiveness and better robustness of OpenDecoder by outperforming various baseline methods. Importantly, this paradigm is flexible to be integrated with the post-training of LLMs for any purposes and incorporated with any type of external indicators.