Apprendimento Attivo Bayesiano Profondo per la Modellazione delle Preferenze nei Modelli Linguistici di Grande Dimensione

Deep Bayesian Active Learning for Preference Modeling in Large Language Models

June 14, 2024

Autori: Luckeciano C. Melo, Panagiotis Tigas, Alessandro Abate, Yarin Gal

cs.AI

Abstract

Sfruttare le preferenze umane per orientare il comportamento dei Large Language Models (LLM) ha dimostrato un notevole successo negli ultimi anni. Tuttavia, la selezione e l'etichettatura dei dati rimangono un collo di bottiglia per questi sistemi, specialmente su larga scala. Pertanto, selezionare i punti più informativi per acquisire feedback umano può ridurre significativamente il costo dell'etichettatura delle preferenze e favorire ulteriormente lo sviluppo degli LLM. L'Active Learning Bayesiano fornisce un framework strutturato per affrontare questa sfida e ha dimostrato un successo notevole in contesti diversi. Tuttavia, i precedenti tentativi di utilizzarlo per il Preference Modeling non hanno soddisfatto tali aspettative. In questo lavoro, identifichiamo che una stima ingenua dell'incertezza epistemica porta all'acquisizione di campioni ridondanti. Affrontiamo questo problema proponendo il Bayesian Active Learner for Preference Modeling (BAL-PM), una nuova politica di acquisizione stocastica che non solo mira a punti di alta incertezza epistemica secondo il modello di preferenza, ma cerca anche di massimizzare l'entropia della distribuzione dei prompt acquisiti nello spazio delle feature generato dall'LLM utilizzato. In particolare, i nostri esperimenti dimostrano che BAL-PM richiede dal 33% al 68% in meno di etichette di preferenza in due popolari dataset di preferenze umane e supera le precedenti politiche di acquisizione stocastica bayesiana.

English

Leveraging human preferences for steering the behavior of Large Language Models (LLMs) has demonstrated notable success in recent years. Nonetheless, data selection and labeling are still a bottleneck for these systems, particularly at large scale. Hence, selecting the most informative points for acquiring human feedback may considerably reduce the cost of preference labeling and unleash the further development of LLMs. Bayesian Active Learning provides a principled framework for addressing this challenge and has demonstrated remarkable success in diverse settings. However, previous attempts to employ it for Preference Modeling did not meet such expectations. In this work, we identify that naive epistemic uncertainty estimation leads to the acquisition of redundant samples. We address this by proposing the Bayesian Active Learner for Preference Modeling (BAL-PM), a novel stochastic acquisition policy that not only targets points of high epistemic uncertainty according to the preference model but also seeks to maximize the entropy of the acquired prompt distribution in the feature space spanned by the employed LLM. Notably, our experiments demonstrate that BAL-PM requires 33% to 68% fewer preference labels in two popular human preference datasets and exceeds previous stochastic Bayesian acquisition policies.