Modelos de Linguagem Grandes com Auto-Reforço utilizando Dados de Preferência Sintéticos

Self-Boosting Large Language Models with Synthetic Preference Data

October 9, 2024

Autores: Qingxiu Dong, Li Dong, Xingxing Zhang, Zhifang Sui, Furu Wei

cs.AI

Resumo

Por meio do alinhamento com as preferências humanas, os Modelos de Linguagem de Grande Escala (LLMs) avançaram significativamente na geração de respostas honestas, inofensivas e úteis. No entanto, coletar dados de preferência de alta qualidade é um processo intensivo em recursos e exigente em criatividade, especialmente para a melhoria contínua dos LLMs. Apresentamos o SynPO, um paradigma de auto-aperfeiçoamento que aproveita dados de preferência sintéticos para o alinhamento do modelo. O SynPO emprega um mecanismo iterativo no qual um gerador de auto-prompt cria prompts diversas, e um aprimorador de resposta refina progressivamente as respostas do modelo. Essa abordagem treina os LLMs para aprender autonomamente as recompensas generativas para suas próprias saídas e elimina a necessidade de anotação em larga escala de prompts e preferências humanas. Após quatro iterações do SynPO, o Llama3-8B e o Mistral-7B mostram melhorias significativas nas habilidades de seguir instruções, alcançando mais de 22,1% de melhoria na taxa de vitória no AlpacaEval 2.0 e ArenaHard. Simultaneamente, o SynPO melhora o desempenho geral dos LLMs em diversas tarefas, validado por um aumento médio de 3,2 a 5,0 pontos na bem reconhecida classificação do Open LLM leaderboard.

English

Through alignment with human preferences, Large Language Models (LLMs) have advanced significantly in generating honest, harmless, and helpful responses. However, collecting high-quality preference data is a resource-intensive and creativity-demanding process, especially for the continual improvement of LLMs. We introduce SynPO, a self-boosting paradigm that leverages synthetic preference data for model alignment. SynPO employs an iterative mechanism wherein a self-prompt generator creates diverse prompts, and a response improver refines model responses progressively. This approach trains LLMs to autonomously learn the generative rewards for their own outputs and eliminates the need for large-scale annotation of prompts and human preferences. After four SynPO iterations, Llama3-8B and Mistral-7B show significant enhancements in instruction-following abilities, achieving over 22.1% win rate improvements on AlpacaEval 2.0 and ArenaHard. Simultaneously, SynPO improves the general performance of LLMs on various tasks, validated by a 3.2 to 5.0 average score increase on the well-recognized Open LLM leaderboard.