Глубокое байесовское активное обучение для моделирования предпочтений в больших языковых моделях.

Deep Bayesian Active Learning for Preference Modeling in Large Language Models

June 14, 2024

Авторы: Luckeciano C. Melo, Panagiotis Tigas, Alessandro Abate, Yarin Gal

cs.AI

Аннотация

Использование человеческих предпочтений для управления поведением крупных языковых моделей (LLM) продемонстрировало значительный успех в последние годы. Тем не менее, выбор и разметка данных по-прежнему являются узким местом для этих систем, особенно в крупном масштабе. Таким образом, выбор наиболее информативных точек для получения обратной связи от людей может значительно снизить стоимость разметки предпочтений и способствовать дальнейшему развитию LLM. Байесовское активное обучение предоставляет обоснованную основу для решения этой проблемы и продемонстрировало замечательный успех в различных ситуациях. Однако предыдущие попытки применить его для моделирования предпочтений не оправдали таких ожиданий. В данной работе мы выявляем, что наивная оценка эпистемической неопределенности приводит к получению избыточных образцов. Мы решаем эту проблему, предлагая Байесовского Активного Обучающего для Моделирования Предпочтений (BAL-PM), новую стохастическую стратегию приобретения, которая не только нацелена на точки с высокой эпистемической неопределенностью согласно модели предпочтений, но также стремится максимизировать энтропию распределения полученных подсказок в пространстве признаков, охваченном используемой LLM. Значительно, наши эксперименты показывают, что BAL-PM требует на 33% до 68% меньше меток предпочтений в двух популярных наборах данных по человеческим предпочтениям и превосходит предыдущие стохастические байесовские стратегии приобретения.

English

Leveraging human preferences for steering the behavior of Large Language Models (LLMs) has demonstrated notable success in recent years. Nonetheless, data selection and labeling are still a bottleneck for these systems, particularly at large scale. Hence, selecting the most informative points for acquiring human feedback may considerably reduce the cost of preference labeling and unleash the further development of LLMs. Bayesian Active Learning provides a principled framework for addressing this challenge and has demonstrated remarkable success in diverse settings. However, previous attempts to employ it for Preference Modeling did not meet such expectations. In this work, we identify that naive epistemic uncertainty estimation leads to the acquisition of redundant samples. We address this by proposing the Bayesian Active Learner for Preference Modeling (BAL-PM), a novel stochastic acquisition policy that not only targets points of high epistemic uncertainty according to the preference model but also seeks to maximize the entropy of the acquired prompt distribution in the feature space spanned by the employed LLM. Notably, our experiments demonstrate that BAL-PM requires 33% to 68% fewer preference labels in two popular human preference datasets and exceeds previous stochastic Bayesian acquisition policies.