Aprendizaje Activo Bayesiano Profundo para el Modelado de Preferencias en Modelos de Lenguaje a Gran Escala

Deep Bayesian Active Learning for Preference Modeling in Large Language Models

June 14, 2024

Autores: Luckeciano C. Melo, Panagiotis Tigas, Alessandro Abate, Yarin Gal

cs.AI

Resumen

El aprovechamiento de las preferencias humanas para guiar el comportamiento de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) ha demostrado un éxito notable en los últimos años. Sin embargo, la selección y etiquetado de datos siguen siendo un cuello de botella para estos sistemas, particularmente a gran escala. Por lo tanto, seleccionar los puntos más informativos para obtener retroalimentación humana puede reducir considerablemente el costo del etiquetado de preferencias y potenciar el desarrollo adicional de los LLMs. El Aprendizaje Activo Bayesiano proporciona un marco teórico sólido para abordar este desafío y ha demostrado un éxito notable en diversos entornos. No obstante, intentos previos de emplearlo para el Modelado de Preferencias no cumplieron con tales expectativas. En este trabajo, identificamos que la estimación ingenua de la incertidumbre epistémica conduce a la adquisición de muestras redundantes. Abordamos esto proponiendo el Aprendiz Activo Bayesiano para el Modelado de Preferencias (BAL-PM, por sus siglas en inglés), una novedosa política de adquisición estocástica que no solo apunta a puntos de alta incertidumbre epistémica según el modelo de preferencias, sino que también busca maximizar la entropía de la distribución de prompts adquiridos en el espacio de características abarcado por el LLM empleado. Cabe destacar que nuestros experimentos demuestran que BAL-PM requiere entre un 33% y un 68% menos de etiquetas de preferencia en dos conjuntos de datos populares de preferencias humanas y supera a las políticas de adquisición bayesianas estocásticas anteriores.

English

Leveraging human preferences for steering the behavior of Large Language Models (LLMs) has demonstrated notable success in recent years. Nonetheless, data selection and labeling are still a bottleneck for these systems, particularly at large scale. Hence, selecting the most informative points for acquiring human feedback may considerably reduce the cost of preference labeling and unleash the further development of LLMs. Bayesian Active Learning provides a principled framework for addressing this challenge and has demonstrated remarkable success in diverse settings. However, previous attempts to employ it for Preference Modeling did not meet such expectations. In this work, we identify that naive epistemic uncertainty estimation leads to the acquisition of redundant samples. We address this by proposing the Bayesian Active Learner for Preference Modeling (BAL-PM), a novel stochastic acquisition policy that not only targets points of high epistemic uncertainty according to the preference model but also seeks to maximize the entropy of the acquired prompt distribution in the feature space spanned by the employed LLM. Notably, our experiments demonstrate that BAL-PM requires 33% to 68% fewer preference labels in two popular human preference datasets and exceeds previous stochastic Bayesian acquisition policies.