Ensinando Modelos de Linguagem de Grande Escala a Manter a Fidelidade Contextual por meio de Tarefas Sintéticas e Aprendizado por Reforço

Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning

May 22, 2025

Autores: Shuzheng Si, Haozhe Zhao, Cheng Gao, Yuzhuo Bai, Zhitong Wang, Bofei Gao, Kangyang Luo, Wenhao Li, Yufei Huang, Gang Chen, Fanchao Qi, Minjia Zhang, Baobao Chang, Maosong Sun

cs.AI

Resumo

Ensinar grandes modelos de linguagem (LLMs) a serem fiéis ao contexto fornecido é crucial para a construção de sistemas confiáveis de busca de informações. Portanto, propomos um framework sistemático, CANOE, para melhorar a fidelidade dos LLMs em tarefas de geração tanto de curta quanto de longa duração, sem a necessidade de anotações humanas. Especificamente, primeiro sintetizamos dados de perguntas e respostas (QA) de curta duração com quatro tarefas diversas para construir dados de treinamento de alta qualidade e facilmente verificáveis sem anotação humana. Além disso, propomos o Dual-GRPO, um método de aprendizado por reforço baseado em regras que inclui três recompensas baseadas em regras personalizadas derivadas dos dados de QA de curta duração sintetizados, enquanto otimiza simultaneamente a geração de respostas tanto de curta quanto de longa duração. Notavelmente, o Dual-GRPO elimina a necessidade de rotular manualmente dados de preferência para treinar modelos de recompensa e evita a superotimização da geração de curta duração ao depender apenas dos dados de QA de curta duração sintetizados. Os resultados experimentais mostram que o CANOE melhora significativamente a fidelidade dos LLMs em 11 tarefas subsequentes diferentes, superando até mesmo os LLMs mais avançados, como o GPT-4o e o OpenAI o1.

English

Teaching large language models (LLMs) to be faithful in the provided context is crucial for building reliable information-seeking systems. Therefore, we propose a systematic framework, CANOE, to improve the faithfulness of LLMs in both short-form and long-form generation tasks without human annotations. Specifically, we first synthesize short-form question-answering (QA) data with four diverse tasks to construct high-quality and easily verifiable training data without human annotation. Also, we propose Dual-GRPO, a rule-based reinforcement learning method that includes three tailored rule-based rewards derived from synthesized short-form QA data, while simultaneously optimizing both short-form and long-form response generation. Notably, Dual-GRPO eliminates the need to manually label preference data to train reward models and avoids over-optimizing short-form generation when relying only on the synthesized short-form QA data. Experimental results show that CANOE greatly improves the faithfulness of LLMs across 11 different downstream tasks, even outperforming the most advanced LLMs, e.g., GPT-4o and OpenAI o1.