Insegnare ai Modelli Linguistici di Grandi Dimensioni a Mantenere la Fedeltà Contestuale attraverso Compiti Sintetici e Apprendimento per Rinforzo

Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning

May 22, 2025

Autori: Shuzheng Si, Haozhe Zhao, Cheng Gao, Yuzhuo Bai, Zhitong Wang, Bofei Gao, Kangyang Luo, Wenhao Li, Yufei Huang, Gang Chen, Fanchao Qi, Minjia Zhang, Baobao Chang, Maosong Sun

cs.AI

Abstract

Insegnare ai grandi modelli linguistici (LLM) a essere fedeli al contesto fornito è fondamentale per costruire sistemi affidabili di ricerca di informazioni. Pertanto, proponiamo un framework sistematico, CANOE, per migliorare la fedeltà dei LLM sia nei compiti di generazione breve che lunga senza annotazioni umane. Nello specifico, sintetizziamo prima dati di domande e risposte (QA) brevi con quattro compiti diversi per costruire dati di addestramento di alta qualità e facilmente verificabili senza annotazioni umane. Inoltre, proponiamo Dual-GRPO, un metodo di apprendimento per rinforzo basato su regole che include tre ricompense basate su regole personalizzate derivate dai dati QA brevi sintetizzati, ottimizzando contemporaneamente sia la generazione di risposte brevi che lunghe. È importante notare che Dual-GRPO elimina la necessità di etichettare manualmente i dati di preferenza per addestrare modelli di ricompensa ed evita l'ottimizzazione eccessiva della generazione breve quando si fa affidamento solo sui dati QA brevi sintetizzati. I risultati sperimentali mostrano che CANOE migliora notevolmente la fedeltà dei LLM in 11 diversi compiti downstream, superando persino i LLM più avanzati, come GPT-4o e OpenAI o1.

English

Teaching large language models (LLMs) to be faithful in the provided context is crucial for building reliable information-seeking systems. Therefore, we propose a systematic framework, CANOE, to improve the faithfulness of LLMs in both short-form and long-form generation tasks without human annotations. Specifically, we first synthesize short-form question-answering (QA) data with four diverse tasks to construct high-quality and easily verifiable training data without human annotation. Also, we propose Dual-GRPO, a rule-based reinforcement learning method that includes three tailored rule-based rewards derived from synthesized short-form QA data, while simultaneously optimizing both short-form and long-form response generation. Notably, Dual-GRPO eliminates the need to manually label preference data to train reward models and avoids over-optimizing short-form generation when relying only on the synthesized short-form QA data. Experimental results show that CANOE greatly improves the faithfulness of LLMs across 11 different downstream tasks, even outperforming the most advanced LLMs, e.g., GPT-4o and OpenAI o1.