Motivi per Rifiutare? Allineare i Modelli Linguistici con i Giudizi

Reasons to Reject? Aligning Language Models with Judgments

December 22, 2023

Autori: Weiwen Xu, Deng Cai, Zhisong Zhang, Wai Lam, Shuming Shi

cs.AI

Abstract

Noi esseri umani interagiamo costantemente con i nostri simili e riceviamo feedback sotto forma di linguaggio naturale. Questo feedback linguistico ci permette di riflettere sulle nostre azioni, mantenere un comportamento appropriato e correggere i nostri errori. Sorge quindi spontanea la domanda: possiamo utilizzare il feedback linguistico per allineare i grandi modelli linguistici (LLM)? A differenza delle ricerche precedenti che allineano gli LLM con dati di ricompensa o preferenza, presentiamo la prima esplorazione sistematica dell'allineamento attraverso la lente del feedback linguistico (cioè, il giudizio). Iniziamo con un'indagine approfondita dei potenziali metodi che possono essere adattati per allineare gli LLM con i giudizi, rivelando che questi metodi non sono in grado di sfruttare appieno i giudizi. Per facilitare un utilizzo più efficace dei giudizi, proponiamo un nuovo framework, Contrastive Unlikelihood Training (CUT), che consente il rilevamento e la correzione granulare di contenuti inappropriati basati sui giudizi. I nostri risultati di allineamento offline mostrano che, con soli 1317 dati di giudizio preesistenti, CUT (LLaMA2-13b) può superare il 175B DaVinci003 e superare il miglior baseline di 52,34 punti su AlpacaEval. I risultati di allineamento online dimostrano che CUT può allineare gli LLM (LLaMA2-chat-13b) in modo iterativo utilizzando dati di giudizio specifici per il modello, con un miglioramento costante delle prestazioni da 81,09 a 91,36 punti su AlpacaEval. La nostra analisi suggerisce inoltre che i giudizi mostrano un potenziale maggiore rispetto alle ricompense per l'allineamento degli LLM e meritano ulteriori ricerche future.

English

As humans, we consistently engage in interactions with our peers and receive feedback in the form of natural language. This language feedback allows us to reflect on our actions, maintain appropriate behavior, and rectify our errors. The question arises naturally: can we use language feedback to align large language models (LLMs)? In contrast to previous research that aligns LLMs with reward or preference data, we present the first systematic exploration of alignment through the lens of language feedback (i.e., judgment). We commence with an in-depth investigation of potential methods that can be adapted for aligning LLMs with judgments, revealing that these methods are unable to fully capitalize on the judgments. To facilitate more effective utilization of judgments, we propose a novel framework, Contrastive Unlikelihood Training (CUT), that allows for fine-grained inappropriate content detection and correction based on judgments. Our offline alignment results show that, with merely 1317 off-the-shelf judgment data, CUT (LLaMA2-13b) can beat the 175B DaVinci003 and surpass the best baseline by 52.34 points on AlpacaEval. The online alignment results demonstrate that CUT can align LLMs (LLaMA2-chat-13b) in an iterative fashion using model-specific judgment data, with a steady performance improvement from 81.09 to 91.36 points on AlpacaEval. Our analysis further suggests that judgments exhibit greater potential than rewards for LLM alignment and warrant future research.