Enseñando a los Modelos de Lenguaje de Gran Escala a Mantener la Fidelidad Contextual mediante Tareas Sintéticas y Aprendizaje por Refuerzo

Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning

May 22, 2025

Autores: Shuzheng Si, Haozhe Zhao, Cheng Gao, Yuzhuo Bai, Zhitong Wang, Bofei Gao, Kangyang Luo, Wenhao Li, Yufei Huang, Gang Chen, Fanchao Qi, Minjia Zhang, Baobao Chang, Maosong Sun

cs.AI

Resumen

Enseñar a los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) a ser fieles al contexto proporcionado es crucial para construir sistemas de búsqueda de información confiables. Por lo tanto, proponemos un marco sistemático, CANOE, para mejorar la fidelidad de los LLMs tanto en tareas de generación de formato corto como de formato largo, sin necesidad de anotaciones humanas. Específicamente, primero sintetizamos datos de preguntas y respuestas (QA) de formato corto con cuatro tareas diversas para construir datos de entrenamiento de alta calidad y fácilmente verificables sin intervención humana. Además, proponemos Dual-GRPO, un método de aprendizaje por refuerzo basado en reglas que incluye tres recompensas basadas en reglas derivadas de los datos sintetizados de QA de formato corto, mientras optimiza simultáneamente la generación de respuestas tanto de formato corto como de formato largo. Cabe destacar que Dual-GRPO elimina la necesidad de etiquetar manualmente datos de preferencia para entrenar modelos de recompensa y evita la sobreoptimización de la generación de formato corto al depender únicamente de los datos sintetizados de QA de formato corto. Los resultados experimentales muestran que CANOE mejora significativamente la fidelidad de los LLMs en 11 tareas descendentes diferentes, superando incluso a los LLMs más avanzados, como GPT-4o y OpenAI o1.

English

Teaching large language models (LLMs) to be faithful in the provided context is crucial for building reliable information-seeking systems. Therefore, we propose a systematic framework, CANOE, to improve the faithfulness of LLMs in both short-form and long-form generation tasks without human annotations. Specifically, we first synthesize short-form question-answering (QA) data with four diverse tasks to construct high-quality and easily verifiable training data without human annotation. Also, we propose Dual-GRPO, a rule-based reinforcement learning method that includes three tailored rule-based rewards derived from synthesized short-form QA data, while simultaneously optimizing both short-form and long-form response generation. Notably, Dual-GRPO eliminates the need to manually label preference data to train reward models and avoids over-optimizing short-form generation when relying only on the synthesized short-form QA data. Experimental results show that CANOE greatly improves the faithfulness of LLMs across 11 different downstream tasks, even outperforming the most advanced LLMs, e.g., GPT-4o and OpenAI o1.