LongReward: Melhorando Modelos de Linguagem de Grande Contexto com IA Feedback

LongReward: Improving Long-context Large Language Models with AI Feedback

October 28, 2024

Autores: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

cs.AI

Resumo

Embora tenham sido alcançados avanços significativos no desenvolvimento de modelos de linguagem grandes de longo contexto (LLMs), a qualidade comprometida dos dados sintetizados pelo LLM para ajuste fino supervisionado (SFT) frequentemente afeta o desempenho de longo contexto dos modelos SFT e leva a limitações inerentes. Em princípio, o aprendizado por reforço (RL) com sinais de recompensa apropriados pode aprimorar ainda mais as capacidades dos modelos. No entanto, como obter recompensas confiáveis em cenários de longo contexto permanece inexplorado. Para isso, propomos o LongReward, um método inovador que utiliza um LLM pronto para fornecer recompensas para respostas de modelos de longo contexto a partir de quatro dimensões valorizadas pelos humanos: utilidade, lógica, fidelidade e completude, cada uma com um pipeline de avaliação cuidadosamente projetado. Ao combinar o LongReward e o algoritmo de RL offline DPO, somos capazes de melhorar efetivamente os modelos de SFT de longo contexto. Nossos experimentos indicam que o LongReward não apenas melhora significativamente o desempenho de longo contexto dos modelos, mas também aprimora sua capacidade de seguir instruções curtas. Também descobrimos que o DPO de longo contexto com LongReward e o DPO de curto contexto convencional podem ser usados juntos sem prejudicar o desempenho de nenhum deles.

English

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.