Tiefe Bayes'sche aktive Lernmethode zur Präferenzmodellierung in großen Sprachmodellen

Deep Bayesian Active Learning for Preference Modeling in Large Language Models

June 14, 2024

Autoren: Luckeciano C. Melo, Panagiotis Tigas, Alessandro Abate, Yarin Gal

cs.AI

Zusammenfassung

Die Nutzung menschlicher Präferenzen zur Lenkung des Verhaltens von Large Language Models (LLMs) hat in den letzten Jahren beachtliche Erfolge gezeigt. Dennoch sind die Auswahl und Kennzeichnung von Daten nach wie vor ein Engpass für diese Systeme, insbesondere im großen Maßstab. Daher kann die Auswahl der informativsten Punkte zur Erlangung menschlichen Feedbacks die Kosten für die Präferenzkennzeichnung erheblich reduzieren und die weitere Entwicklung von LLMs vorantreiben. Das Bayesian Active Learning bietet einen fundierten Rahmen zur Bewältigung dieser Herausforderung und hat in verschiedenen Umgebungen bemerkenswerte Erfolge gezeigt. Bisherige Versuche, es für die Präferenzmodellierung einzusetzen, entsprachen jedoch nicht diesen Erwartungen. In dieser Arbeit stellen wir fest, dass eine naive epistemische Unsicherheitsschätzung zur Erlangung redundanter Proben führt. Dies wird durch die Vorstellung des Bayesian Active Learner for Preference Modeling (BAL-PM) angegangen, einer neuartigen stochastischen Erwerbspolitik, die nicht nur Punkte hoher epistemischer Unsicherheit gemäß dem Präferenzmodell anvisiert, sondern auch die Entropie der erworbenen Eingabe-Verteilung im Merkmalsraum maximieren möchte, der vom verwendeten LLM aufgespannt wird. Bemerkenswert ist, dass unsere Experimente zeigen, dass BAL-PM in zwei beliebten menschlichen Präferenzdatensätzen 33 % bis 68 % weniger Präferenzkennzeichnungen benötigt und frühere stochastische Bayesian-Erwerbspolitiken übertrifft.

English

Leveraging human preferences for steering the behavior of Large Language Models (LLMs) has demonstrated notable success in recent years. Nonetheless, data selection and labeling are still a bottleneck for these systems, particularly at large scale. Hence, selecting the most informative points for acquiring human feedback may considerably reduce the cost of preference labeling and unleash the further development of LLMs. Bayesian Active Learning provides a principled framework for addressing this challenge and has demonstrated remarkable success in diverse settings. However, previous attempts to employ it for Preference Modeling did not meet such expectations. In this work, we identify that naive epistemic uncertainty estimation leads to the acquisition of redundant samples. We address this by proposing the Bayesian Active Learner for Preference Modeling (BAL-PM), a novel stochastic acquisition policy that not only targets points of high epistemic uncertainty according to the preference model but also seeks to maximize the entropy of the acquired prompt distribution in the feature space spanned by the employed LLM. Notably, our experiments demonstrate that BAL-PM requires 33% to 68% fewer preference labels in two popular human preference datasets and exceeds previous stochastic Bayesian acquisition policies.