Razões para Rejeitar? Alinhando Modelos de Linguagem com Julgamentos

Reasons to Reject? Aligning Language Models with Judgments

December 22, 2023

Autores: Weiwen Xu, Deng Cai, Zhisong Zhang, Wai Lam, Shuming Shi

cs.AI

Resumo

Como seres humanos, estamos constantemente envolvidos em interações com nossos pares e recebemos feedback na forma de linguagem natural. Esse feedback linguístico nos permite refletir sobre nossas ações, manter comportamentos apropriados e corrigir nossos erros. Surge então a questão: podemos usar o feedback linguístico para alinhar grandes modelos de linguagem (LLMs)? Em contraste com pesquisas anteriores que alinham LLMs com dados de recompensa ou preferência, apresentamos a primeira exploração sistemática do alinhamento por meio da lente do feedback linguístico (ou seja, julgamento). Começamos com uma investigação detalhada de métodos potenciais que podem ser adaptados para alinhar LLMs com julgamentos, revelando que esses métodos não conseguem aproveitar totalmente os julgamentos. Para facilitar uma utilização mais eficaz dos julgamentos, propomos uma nova estrutura, o Treinamento de Improbabilidade Contrastiva (CUT), que permite a detecção e correção de conteúdo inadequado em nível granular com base em julgamentos. Nossos resultados de alinhamento offline mostram que, com apenas 1317 dados de julgamento prontamente disponíveis, o CUT (LLaMA2-13b) pode superar o DaVinci003 de 175B e ultrapassar a melhor baseline em 52,34 pontos no AlpacaEval. Os resultados de alinhamento online demonstram que o CUT pode alinhar LLMs (LLaMA2-chat-13b) de forma iterativa usando dados de julgamento específicos do modelo, com uma melhoria consistente de desempenho de 81,09 para 91,36 pontos no AlpacaEval. Nossa análise sugere ainda que os julgamentos exibem um potencial maior do que as recompensas para o alinhamento de LLMs e justificam pesquisas futuras.

English

As humans, we consistently engage in interactions with our peers and receive feedback in the form of natural language. This language feedback allows us to reflect on our actions, maintain appropriate behavior, and rectify our errors. The question arises naturally: can we use language feedback to align large language models (LLMs)? In contrast to previous research that aligns LLMs with reward or preference data, we present the first systematic exploration of alignment through the lens of language feedback (i.e., judgment). We commence with an in-depth investigation of potential methods that can be adapted for aligning LLMs with judgments, revealing that these methods are unable to fully capitalize on the judgments. To facilitate more effective utilization of judgments, we propose a novel framework, Contrastive Unlikelihood Training (CUT), that allows for fine-grained inappropriate content detection and correction based on judgments. Our offline alignment results show that, with merely 1317 off-the-shelf judgment data, CUT (LLaMA2-13b) can beat the 175B DaVinci003 and surpass the best baseline by 52.34 points on AlpacaEval. The online alignment results demonstrate that CUT can align LLMs (LLaMA2-chat-13b) in an iterative fashion using model-specific judgment data, with a steady performance improvement from 81.09 to 91.36 points on AlpacaEval. Our analysis further suggests that judgments exhibit greater potential than rewards for LLM alignment and warrant future research.