Гибридные предпочтения: обучение маршрутизации экземпляров для обратной связи человека против ИИ.

Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback

October 24, 2024

Авторы: Lester James V. Miranda, Yizhong Wang, Yanai Elazar, Sachin Kumar, Valentina Pyatkin, Faeze Brahman, Noah A. Smith, Hannaneh Hajishirzi, Pradeep Dasigi

cs.AI

Аннотация

Обучение на основе обратной связи от людей позволило выравнивать языковые модели (ЯМ) с человеческими предпочтениями. Однако напрямую собирать человеческие предпочтения может быть дорого, затратно по времени и иметь высокую дисперсию. Привлекательной альтернативой является извлечение предпочтений из ЯМ в качестве искусственных аннотаций, так как они более последовательны, дешевле и масштабируются лучше, чем человеческая аннотация; однако они также подвержены предвзятостям и ошибкам. В данной работе мы представляем маршрутизационную структуру, которая объединяет входные данные от людей и ЯМ для достижения лучшего качества аннотации, снижая при этом общую стоимость человеческой аннотации. Суть нашего подхода заключается в идентификации случаев предпочтений, которые получат выгоду от человеческих аннотаций. Мы формулируем это как задачу оптимизации: учитывая набор данных предпочтений и метрику оценки, мы обучаем модель прогнозирования производительности для предсказания производительности модели вознаграждения на произвольной комбинации человеческих и ЯМ аннотаций и используем стратегию маршрутизации, которая выбирает комбинацию, максимизирующую прогнозируемую производительность. Мы обучаем модель прогнозирования производительности на MultiPref, новом наборе данных предпочтений с 10 тыс. экземпляров, сопоставленных с метками человека и ЯМ. Мы показываем, что выбранная гибридная смесь ЯМ и прямых человеческих предпочтений с использованием нашей маршрутизационной структуры достигает лучшей производительности модели вознаграждения по сравнению с использованием их исключительно. Мы моделируем селективное сбор человеческих предпочтений на трех других наборах данных и показываем, что наш метод хорошо обобщается на все три. Мы анализируем характеристики из маршрутной модели, чтобы выявить особенности экземпляров, которые могут получить пользу от обратной связи от людей, например, подсказки с умеренной озабоченностью по безопасности или умеренной сложностью намерений. Мы предоставляем набор данных, платформу аннотации и исходный код, использованные в этом исследовании, для поощрения более эффективного и точного сбора предпочтений в будущем.

English

Learning from human feedback has enabled the alignment of language models (LMs) with human preferences. However, directly collecting human preferences can be expensive, time-consuming, and can have high variance. An appealing alternative is to distill preferences from LMs as a source of synthetic annotations as they are more consistent, cheaper, and scale better than human annotation; however, they are also prone to biases and errors. In this work, we introduce a routing framework that combines inputs from humans and LMs to achieve better annotation quality, while reducing the total cost of human annotation. The crux of our approach is to identify preference instances that will benefit from human annotations. We formulate this as an optimization problem: given a preference dataset and an evaluation metric, we train a performance prediction model to predict a reward model's performance on an arbitrary combination of human and LM annotations and employ a routing strategy that selects a combination that maximizes predicted performance. We train the performance prediction model on MultiPref, a new preference dataset with 10K instances paired with human and LM labels. We show that the selected hybrid mixture of LM and direct human preferences using our routing framework achieves better reward model performance compared to using either one exclusively. We simulate selective human preference collection on three other datasets and show that our method generalizes well to all three. We analyze features from the routing model to identify characteristics of instances that can benefit from human feedback, e.g., prompts with a moderate safety concern or moderate intent complexity. We release the dataset, annotation platform, and source code used in this study to foster more efficient and accurate preference collection in the future.