Modelado Axiomático de Preferencias para Respuestas a Preguntas de Formato Extendido

Axiomatic Preference Modeling for Longform Question Answering

December 2, 2023

Autores: Corby Rosset, Guoqing Zheng, Victor Dibia, Ahmed Awadallah, Paul Bennett

cs.AI

Resumen

Las notables capacidades de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) como GPT-4 se derivan en parte de procesos posteriores al entrenamiento, como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF, por sus siglas en inglés), que incorpora preferencias humanas codificadas en un modelo de recompensa. Sin embargo, estos modelos de recompensa (RMs, por sus siglas en inglés) a menudo carecen de conocimiento directo sobre por qué, o bajo qué principios, se realizaron las anotaciones de preferencias. En este estudio, identificamos principios que guían a los RMs para alinearse mejor con las preferencias humanas y luego desarrollamos un marco axiomático para generar una amplia variedad de señales de preferencia que los respalden. Utilizamos estas señales axiomáticas para entrenar un modelo que califica respuestas a preguntas de formato extenso. Nuestro enfoque produce un Modelo de Preferencia con solo alrededor de 220 millones de parámetros que coincide con las etiquetas de preferencia anotadas por humanos de referencia con mayor frecuencia que GPT-4. Las contribuciones de este trabajo incluyen: entrenar un modelo de preferencia independiente que puede calificar respuestas generadas por humanos y LLMs en la misma escala; desarrollar un marco axiomático para generar pares de datos de entrenamiento adaptados a ciertos principios; y demostrar que una pequeña cantidad de señales axiomáticas puede ayudar a que modelos pequeños superen a GPT-4 en la calificación de preferencias. Publicamos nuestro modelo en huggingface: https://huggingface.co/corbyrosset/axiomatic_preference_model.

English

The remarkable abilities of large language models (LLMs) like GPT-4 partially stem from post-training processes like Reinforcement Learning from Human Feedback (RLHF) involving human preferences encoded in a reward model. However, these reward models (RMs) often lack direct knowledge of why, or under what principles, the preferences annotations were made. In this study, we identify principles that guide RMs to better align with human preferences, and then develop an axiomatic framework to generate a rich variety of preference signals to uphold them. We use these axiomatic signals to train a model for scoring answers to longform questions. Our approach yields a Preference Model with only about 220M parameters that agrees with gold human-annotated preference labels more often than GPT-4. The contributions of this work include: training a standalone preference model that can score human- and LLM-generated answers on the same scale; developing an axiomatic framework for generating training data pairs tailored to certain principles; and showing that a small amount of axiomatic signals can help small models outperform GPT-4 in preference scoring. We release our model on huggingface: https://huggingface.co/corbyrosset/axiomatic_preference_model