Enseigner aux grands modèles de langage à maintenir la fidélité contextuelle grâce à des tâches synthétiques et à l'apprentissage par renforcement

Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning

May 22, 2025

Auteurs: Shuzheng Si, Haozhe Zhao, Cheng Gao, Yuzhuo Bai, Zhitong Wang, Bofei Gao, Kangyang Luo, Wenhao Li, Yufei Huang, Gang Chen, Fanchao Qi, Minjia Zhang, Baobao Chang, Maosong Sun

cs.AI

Résumé

Apprendre aux grands modèles de langage (LLM) à être fidèles dans le contexte fourni est crucial pour construire des systèmes de recherche d'information fiables. Par conséquent, nous proposons un cadre systématique, CANOE, pour améliorer la fidélité des LLM dans les tâches de génération à la fois courtes et longues, sans annotations humaines. Plus précisément, nous synthétisons d'abord des données de questions-réponses (QA) courtes avec quatre tâches variées pour construire des données d'entraînement de haute qualité et facilement vérifiables sans annotation humaine. En outre, nous proposons Dual-GRPO, une méthode d'apprentissage par renforcement basée sur des règles qui inclut trois récompenses basées sur des règles adaptées, dérivées des données QA courtes synthétisées, tout en optimisant simultanément la génération de réponses courtes et longues. Notamment, Dual-GRPO élimine le besoin d'étiqueter manuellement des données de préférence pour entraîner des modèles de récompense et évite la sur-optimisation de la génération courte en s'appuyant uniquement sur les données QA courtes synthétisées. Les résultats expérimentaux montrent que CANOE améliore considérablement la fidélité des LLM sur 11 tâches en aval différentes, surpassant même les LLM les plus avancés, comme GPT-4o et OpenAI o1.

English

Teaching large language models (LLMs) to be faithful in the provided context is crucial for building reliable information-seeking systems. Therefore, we propose a systematic framework, CANOE, to improve the faithfulness of LLMs in both short-form and long-form generation tasks without human annotations. Specifically, we first synthesize short-form question-answering (QA) data with four diverse tasks to construct high-quality and easily verifiable training data without human annotation. Also, we propose Dual-GRPO, a rule-based reinforcement learning method that includes three tailored rule-based rewards derived from synthesized short-form QA data, while simultaneously optimizing both short-form and long-form response generation. Notably, Dual-GRPO eliminates the need to manually label preference data to train reward models and avoids over-optimizing short-form generation when relying only on the synthesized short-form QA data. Experimental results show that CANOE greatly improves the faithfulness of LLMs across 11 different downstream tasks, even outperforming the most advanced LLMs, e.g., GPT-4o and OpenAI o1.