BPO: Potenciando el Aprendizaje de Preferencias en Línea mediante la Adherencia a la Proximidad del Comportamiento de los LLM

BPO: Supercharging Online Preference Learning by Adhering to the Proximity of Behavior LLM

June 18, 2024

Autores: Wenda Xu, Jiachen Li, William Yang Wang, Lei Li

cs.AI

Resumen

La alineación directa a partir de preferencias (DAP, por sus siglas en inglés) ha surgido como un paradigma prometedor para alinear modelos de lenguaje de gran escala (LLMs) con los deseos humanos a partir de conjuntos de datos de preferencias previamente recolectados y fuera de línea. Si bien estudios recientes indican que los métodos existentes de DAP fuera de línea pueden beneficiarse directamente de muestras de entrenamiento en línea, destacamos la necesidad de desarrollar algoritmos específicos de DAP en línea para aprovechar plenamente el poder del entrenamiento en línea. En concreto, identificamos que el LLM aprendido debe adherirse a la proximidad del LLM de comportamiento, que recolecta las muestras de entrenamiento. Con este fin, proponemos la Optimización de Preferencias en línea en proximidad al LLM de Comportamiento (BPO, por sus siglas en inglés), enfatizando la importancia de construir una región de confianza adecuada para la alineación de LLMs. Realizamos extensos experimentos para validar la efectividad y aplicabilidad de nuestro enfoque al integrarlo con varios métodos de DAP, lo que resulta en mejoras significativas de rendimiento en una amplia gama de tareas al entrenar con la misma cantidad de datos de preferencias. Incluso al introducir solo una fase adicional de recolección de datos, nuestro BPO en línea mejora su línea base de DAP fuera de línea del 72.0% al 80.2% en TL;DR y del 82.2% al 89.1% en Antropic Helpfulness en términos de tasa de victoria frente al texto de referencia humano.

English

Direct alignment from preferences (DAP) has emerged as a promising paradigm for aligning large language models (LLMs) to human desiderata from pre-collected, offline preference datasets. While recent studies indicate that existing offline DAP methods can directly benefit from online training samples, we highlight the need to develop specific online DAP algorithms to fully harness the power of online training. Specifically, we identify that the learned LLM should adhere to the proximity of the behavior LLM, which collects the training samples. To this end, we propose online Preference Optimization in proximity to the Behavior LLM (BPO), emphasizing the importance of constructing a proper trust region for LLM alignment. We conduct extensive experiments to validate the effectiveness and applicability of our approach by integrating it with various DAP methods, resulting in significant performance improvements across a wide range of tasks when training with the same amount of preference data. Even when only introducing one additional data collection phase, our online BPO improves its offline DAP baseline from 72.0% to 80.2% on TL;DR and from 82.2% to 89.1% on Anthropic Helpfulness in terms of win rate against human reference text.