Diep Bayesiaans Actief Leren voor Voorkeursmodellering in Grote Taalmodellen

Deep Bayesian Active Learning for Preference Modeling in Large Language Models

June 14, 2024

Auteurs: Luckeciano C. Melo, Panagiotis Tigas, Alessandro Abate, Yarin Gal

cs.AI

Samenvatting

Het benutten van menselijke voorkeuren om het gedrag van Large Language Models (LLMs) te sturen, heeft de afgelopen jaren aanzienlijk succes laten zien. Desalniettemin blijven gegevensselectie en labeling een knelpunt voor deze systemen, vooral op grote schaal. Het selecteren van de meest informatieve punten voor het verkrijgen van menselijke feedback kan daarom de kosten van voorkeurslabeling aanzienlijk verlagen en de verdere ontwikkeling van LLMs bevorderen. Bayesian Active Learning biedt een principieel kader om deze uitdaging aan te pakken en heeft opmerkelijke successen geboekt in diverse omgevingen. Eerdere pogingen om het in te zetten voor Preference Modeling hebben echter niet aan deze verwachtingen voldaan. In dit werk identificeren we dat een naïeve schatting van epistemische onzekerheid leidt tot het verkrijgen van redundante samples. We pakken dit aan door de Bayesian Active Learner for Preference Modeling (BAL-PM) voor te stellen, een nieuw stochastisch acquisitiebeleid dat niet alleen gericht is op punten met hoge epistemische onzekerheid volgens het voorkeursmodel, maar ook streeft naar het maximaliseren van de entropie van de verkregen promptdistributie in de kenmerkruimte die wordt overspannen door het gebruikte LLM. Opmerkelijk is dat onze experimenten aantonen dat BAL-PM 33% tot 68% minder voorkeurslabels vereist in twee populaire datasets voor menselijke voorkeuren en eerdere stochastische Bayesian acquisitiebelevenissen overtreft.

English

Leveraging human preferences for steering the behavior of Large Language Models (LLMs) has demonstrated notable success in recent years. Nonetheless, data selection and labeling are still a bottleneck for these systems, particularly at large scale. Hence, selecting the most informative points for acquiring human feedback may considerably reduce the cost of preference labeling and unleash the further development of LLMs. Bayesian Active Learning provides a principled framework for addressing this challenge and has demonstrated remarkable success in diverse settings. However, previous attempts to employ it for Preference Modeling did not meet such expectations. In this work, we identify that naive epistemic uncertainty estimation leads to the acquisition of redundant samples. We address this by proposing the Bayesian Active Learner for Preference Modeling (BAL-PM), a novel stochastic acquisition policy that not only targets points of high epistemic uncertainty according to the preference model but also seeks to maximize the entropy of the acquired prompt distribution in the feature space spanned by the employed LLM. Notably, our experiments demonstrate that BAL-PM requires 33% to 68% fewer preference labels in two popular human preference datasets and exceeds previous stochastic Bayesian acquisition policies.