LongReward: Mejorando Modelos de Lenguaje Grandes de Contexto Largo con Retroalimentación de IA

LongReward: Improving Long-context Large Language Models with AI Feedback

October 28, 2024

Autores: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

cs.AI

Resumen

Aunque se han logrado avances significativos en el desarrollo de modelos de lenguaje grandes de largo contexto (LLMs, por sus siglas en inglés), la calidad comprometida de los datos sintetizados por LLM para el ajuste fino supervisado (SFT) a menudo afecta el rendimiento de largo contexto de los modelos SFT y conlleva limitaciones inherentes. En principio, el aprendizaje por refuerzo (RL) con señales de recompensa adecuadas puede mejorar aún más las capacidades de los modelos. Sin embargo, cómo obtener recompensas confiables en escenarios de largo contexto sigue sin explorarse. Con este fin, proponemos LongReward, un método novedoso que utiliza un LLM listo para usar para proporcionar recompensas a las respuestas del modelo de largo contexto desde cuatro dimensiones valoradas por humanos: utilidad, lógica, fidelidad y completitud, cada una con un proceso de evaluación cuidadosamente diseñado. Al combinar LongReward y el algoritmo de RL fuera de línea DPO, podemos mejorar de manera efectiva los modelos SFT de largo contexto. Nuestros experimentos indican que LongReward no solo mejora significativamente el rendimiento de largo contexto de los modelos, sino que también mejora su capacidad para seguir instrucciones cortas. También descubrimos que DPO de largo contexto con LongReward y DPO de corto contexto convencional pueden utilizarse juntos sin afectar el rendimiento de ninguno de los dos.

English

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.