Het aanleren van grote taalmodelen om contextuele trouw te behouden via synthetische taken en reinforcement learning

Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning

May 22, 2025

Auteurs: Shuzheng Si, Haozhe Zhao, Cheng Gao, Yuzhuo Bai, Zhitong Wang, Bofei Gao, Kangyang Luo, Wenhao Li, Yufei Huang, Gang Chen, Fanchao Qi, Minjia Zhang, Baobao Chang, Maosong Sun

cs.AI

Samenvatting

Het aanleren van grote taalmodellen (LLMs) om trouw te blijven aan de gegeven context is cruciaal voor het bouwen van betrouwbare informatiezoekende systemen. Daarom stellen we een systematisch framework voor, CANOE, om de trouwheid van LLMs te verbeteren in zowel korte als lange generatietaken zonder menselijke annotaties. Specifiek synthetiseren we eerst korte vraag-antwoord (QA) gegevens met vier diverse taken om hoogwaardige en eenvoudig verifieerbare trainingsdata te construeren zonder menselijke annotatie. Daarnaast introduceren we Dual-GRPO, een op regels gebaseerde reinforcement learning-methode die drie op maat gemaakte, op regels gebaseerde beloningen omvat die zijn afgeleid van gesynthetiseerde korte QA-gegevens, terwijl tegelijkertijd zowel korte als lange responsgeneratie wordt geoptimaliseerd. Opmerkelijk is dat Dual-GRPO de noodzaak elimineert om voorkeursgegevens handmatig te labelen om beloningsmodellen te trainen en voorkomt dat korte generatie overmatig wordt geoptimaliseerd wanneer alleen wordt vertrouwd op de gesynthetiseerde korte QA-gegevens. Experimentele resultaten tonen aan dat CANOE de trouwheid van LLMs aanzienlijk verbetert over 11 verschillende downstream taken, en zelfs de meest geavanceerde LLMs overtreft, zoals GPT-4o en OpenAI o1.

English

Teaching large language models (LLMs) to be faithful in the provided context is crucial for building reliable information-seeking systems. Therefore, we propose a systematic framework, CANOE, to improve the faithfulness of LLMs in both short-form and long-form generation tasks without human annotations. Specifically, we first synthesize short-form question-answering (QA) data with four diverse tasks to construct high-quality and easily verifiable training data without human annotation. Also, we propose Dual-GRPO, a rule-based reinforcement learning method that includes three tailored rule-based rewards derived from synthesized short-form QA data, while simultaneously optimizing both short-form and long-form response generation. Notably, Dual-GRPO eliminates the need to manually label preference data to train reward models and avoids over-optimizing short-form generation when relying only on the synthesized short-form QA data. Experimental results show that CANOE greatly improves the faithfulness of LLMs across 11 different downstream tasks, even outperforming the most advanced LLMs, e.g., GPT-4o and OpenAI o1.