Apprentissage Bayésien Profond Actif pour la Modélisation des Préférences dans les Grands Modèles de Langage

Deep Bayesian Active Learning for Preference Modeling in Large Language Models

June 14, 2024

Auteurs: Luckeciano C. Melo, Panagiotis Tigas, Alessandro Abate, Yarin Gal

cs.AI

Résumé

L'utilisation des préférences humaines pour orienter le comportement des modèles de langage de grande taille (LLMs) a connu un succès notable ces dernières années. Cependant, la sélection et l'étiquetage des données restent un goulot d'étranglement pour ces systèmes, en particulier à grande échelle. Ainsi, sélectionner les points les plus informatifs pour obtenir des retours humains peut considérablement réduire le coût de l'étiquetage des préférences et favoriser le développement ultérieur des LLMs. L'apprentissage actif bayésien offre un cadre théorique pour relever ce défi et a démontré un succès remarquable dans divers contextes. Cependant, les tentatives précédentes pour l'employer dans la modélisation des préférences n'ont pas répondu à ces attentes. Dans ce travail, nous identifions que l'estimation naïve de l'incertitude épistémique conduit à l'acquisition d'échantillons redondants. Nous abordons ce problème en proposant le Bayesian Active Learner for Preference Modeling (BAL-PM), une nouvelle politique d'acquisition stochastique qui cible non seulement les points de forte incertitude épistémique selon le modèle de préférence, mais cherche également à maximiser l'entropie de la distribution des prompts acquis dans l'espace de caractéristiques engendré par le LLM utilisé. Nos expériences montrent que BAL-PM nécessite 33 % à 68 % d'étiquettes de préférence en moins sur deux ensembles de données populaires de préférences humaines et surpasse les politiques d'acquisition bayésiennes stochastiques précédentes.

English

Leveraging human preferences for steering the behavior of Large Language Models (LLMs) has demonstrated notable success in recent years. Nonetheless, data selection and labeling are still a bottleneck for these systems, particularly at large scale. Hence, selecting the most informative points for acquiring human feedback may considerably reduce the cost of preference labeling and unleash the further development of LLMs. Bayesian Active Learning provides a principled framework for addressing this challenge and has demonstrated remarkable success in diverse settings. However, previous attempts to employ it for Preference Modeling did not meet such expectations. In this work, we identify that naive epistemic uncertainty estimation leads to the acquisition of redundant samples. We address this by proposing the Bayesian Active Learner for Preference Modeling (BAL-PM), a novel stochastic acquisition policy that not only targets points of high epistemic uncertainty according to the preference model but also seeks to maximize the entropy of the acquired prompt distribution in the feature space spanned by the employed LLM. Notably, our experiments demonstrate that BAL-PM requires 33% to 68% fewer preference labels in two popular human preference datasets and exceeds previous stochastic Bayesian acquisition policies.