BPO: Potencializando o Aprendizado de Preferências Online ao Aderir à Proximidade do Comportamento de LLM
BPO: Supercharging Online Preference Learning by Adhering to the Proximity of Behavior LLM
June 18, 2024
Autores: Wenda Xu, Jiachen Li, William Yang Wang, Lei Li
cs.AI
Resumo
O alinhamento direto a partir de preferências (DAP, do inglês Direct Alignment from Preferences) emergiu como um paradigma promissor para alinhar grandes modelos de linguagem (LLMs, do inglês Large Language Models) aos desejos humanos a partir de conjuntos de dados de preferências pré-coletados e offline. Embora estudos recentes indiquem que os métodos existentes de DAP offline podem se beneficiar diretamente de amostras de treinamento online, destacamos a necessidade de desenvolver algoritmos específicos de DAP online para aproveitar plenamente o poder do treinamento online. Especificamente, identificamos que o LLM aprendido deve aderir à proximidade do LLM de comportamento, que coleta as amostras de treinamento. Para isso, propomos a Otimização de Preferências online em proximidade ao LLM de Comportamento (BPO, do inglês Behavior LLM Proximity Optimization), enfatizando a importância de construir uma região de confiança adequada para o alinhamento de LLMs.
Realizamos experimentos extensivos para validar a eficácia e a aplicabilidade de nossa abordagem, integrando-a a vários métodos de DAP, resultando em melhorias significativas de desempenho em uma ampla gama de tarefas ao treinar com a mesma quantidade de dados de preferência. Mesmo ao introduzir apenas uma fase adicional de coleta de dados, nosso BPO online melhora sua linha de base de DAP offline de 72,0% para 80,2% no TL;DR e de 82,2% para 89,1% no Anthropic Helpfulness em termos de taxa de vitória contra o texto de referência humano.
English
Direct alignment from preferences (DAP) has emerged as a promising paradigm
for aligning large language models (LLMs) to human desiderata from
pre-collected, offline preference datasets. While recent studies indicate that
existing offline DAP methods can directly benefit from online training samples,
we highlight the need to develop specific online DAP algorithms to fully
harness the power of online training. Specifically, we identify that the
learned LLM should adhere to the proximity of the behavior LLM, which collects
the training samples. To this end, we propose online Preference Optimization in
proximity to the Behavior LLM (BPO), emphasizing the importance of constructing
a proper trust region for LLM alignment.
We conduct extensive experiments to validate the effectiveness and
applicability of our approach by integrating it with various DAP methods,
resulting in significant performance improvements across a wide range of tasks
when training with the same amount of preference data. Even when only
introducing one additional data collection phase, our online BPO improves its
offline DAP baseline from 72.0% to 80.2% on TL;DR and from 82.2% to 89.1% on
Anthropic Helpfulness in terms of win rate against human reference text.