¿Razones para rechazar? Alineando modelos de lenguaje con juicios

Reasons to Reject? Aligning Language Models with Judgments

December 22, 2023

Autores: Weiwen Xu, Deng Cai, Zhisong Zhang, Wai Lam, Shuming Shi

cs.AI

Resumen

Como seres humanos, constantemente interactuamos con nuestros pares y recibimos retroalimentación en forma de lenguaje natural. Esta retroalimentación lingüística nos permite reflexionar sobre nuestras acciones, mantener un comportamiento adecuado y corregir nuestros errores. Surge entonces la pregunta: ¿podemos utilizar la retroalimentación lingüística para alinear modelos de lenguaje de gran escala (LLMs)? A diferencia de investigaciones previas que alinean LLMs con datos de recompensa o preferencia, presentamos la primera exploración sistemática de la alineación a través de la lente de la retroalimentación lingüística (es decir, juicios). Comenzamos con una investigación en profundidad de métodos potenciales que pueden adaptarse para alinear LLMs con juicios, revelando que estos métodos no son capaces de aprovechar completamente los juicios. Para facilitar un uso más efectivo de los juicios, proponemos un marco novedoso, Entrenamiento de Contraste de Improbabilidad (CUT, por sus siglas en inglés), que permite la detección y corrección de contenido inapropiado de manera granular basado en juicios. Nuestros resultados de alineación offline muestran que, con apenas 1317 datos de juicio disponibles, CUT (LLaMA2-13b) puede superar al DaVinci003 de 175B y superar al mejor baseline por 52.34 puntos en AlpacaEval. Los resultados de alineación online demuestran que CUT puede alinear LLMs (LLaMA2-chat-13b) de manera iterativa utilizando datos de juicio específicos del modelo, con una mejora constante en el rendimiento de 81.09 a 91.36 puntos en AlpacaEval. Nuestro análisis sugiere además que los juicios exhiben un mayor potencial que las recompensas para la alineación de LLMs y merecen futuras investigaciones.

English

As humans, we consistently engage in interactions with our peers and receive feedback in the form of natural language. This language feedback allows us to reflect on our actions, maintain appropriate behavior, and rectify our errors. The question arises naturally: can we use language feedback to align large language models (LLMs)? In contrast to previous research that aligns LLMs with reward or preference data, we present the first systematic exploration of alignment through the lens of language feedback (i.e., judgment). We commence with an in-depth investigation of potential methods that can be adapted for aligning LLMs with judgments, revealing that these methods are unable to fully capitalize on the judgments. To facilitate more effective utilization of judgments, we propose a novel framework, Contrastive Unlikelihood Training (CUT), that allows for fine-grained inappropriate content detection and correction based on judgments. Our offline alignment results show that, with merely 1317 off-the-shelf judgment data, CUT (LLaMA2-13b) can beat the 175B DaVinci003 and surpass the best baseline by 52.34 points on AlpacaEval. The online alignment results demonstrate that CUT can align LLMs (LLaMA2-chat-13b) in an iterative fashion using model-specific judgment data, with a steady performance improvement from 81.09 to 91.36 points on AlpacaEval. Our analysis further suggests that judgments exhibit greater potential than rewards for LLM alignment and warrant future research.