Redenen om af te wijzen? Taalmodellen afstemmen op beoordelingen

Reasons to Reject? Aligning Language Models with Judgments

December 22, 2023

Auteurs: Weiwen Xu, Deng Cai, Zhisong Zhang, Wai Lam, Shuming Shi

cs.AI

Samenvatting

Als mensen zijn we voortdurend betrokken bij interacties met onze medemensen en ontvangen we feedback in de vorm van natuurlijke taal. Deze taalfeedback stelt ons in staat om na te denken over onze acties, gepast gedrag te behouden en onze fouten te corrigeren. De vraag rijst vanzelf: kunnen we taalfeedback gebruiken om grote taalmmodellen (LLM's) af te stemmen? In tegenstelling tot eerder onderzoek dat LLM's afstemt met belonings- of voorkeursdata, presenteren wij de eerste systematische verkenning van afstemming vanuit het perspectief van taalfeedback (d.w.z. beoordeling). We beginnen met een diepgaand onderzoek naar mogelijke methoden die kunnen worden aangepast voor het afstemmen van LLM's met beoordelingen, waaruit blijkt dat deze methoden niet volledig gebruik kunnen maken van de beoordelingen. Om een effectiever gebruik van beoordelingen mogelijk te maken, stellen we een nieuw raamwerk voor, Contrastive Unlikelihood Training (CUT), dat fijnmazige detectie en correctie van ongepaste inhoud op basis van beoordelingen mogelijk maakt. Onze offline afstemmingsresultaten tonen aan dat, met slechts 1317 kant-en-klare beoordelingsdata, CUT (LLaMA2-13b) de 175B DaVinci003 kan verslaan en de beste baseline met 52,34 punten overtreft op AlpacaEval. De online afstemmingsresultaten laten zien dat CUT LLM's (LLaMA2-chat-13b) op iteratieve wijze kan afstemmen met modelspecifieke beoordelingsdata, met een gestage prestatieverbetering van 81,09 naar 91,36 punten op AlpacaEval. Onze analyse suggereert verder dat beoordelingen een groter potentieel hebben dan beloningen voor de afstemming van LLM's en toekomstig onderzoek rechtvaardigen.

English

As humans, we consistently engage in interactions with our peers and receive feedback in the form of natural language. This language feedback allows us to reflect on our actions, maintain appropriate behavior, and rectify our errors. The question arises naturally: can we use language feedback to align large language models (LLMs)? In contrast to previous research that aligns LLMs with reward or preference data, we present the first systematic exploration of alignment through the lens of language feedback (i.e., judgment). We commence with an in-depth investigation of potential methods that can be adapted for aligning LLMs with judgments, revealing that these methods are unable to fully capitalize on the judgments. To facilitate more effective utilization of judgments, we propose a novel framework, Contrastive Unlikelihood Training (CUT), that allows for fine-grained inappropriate content detection and correction based on judgments. Our offline alignment results show that, with merely 1317 off-the-shelf judgment data, CUT (LLaMA2-13b) can beat the 175B DaVinci003 and surpass the best baseline by 52.34 points on AlpacaEval. The online alignment results demonstrate that CUT can align LLMs (LLaMA2-chat-13b) in an iterative fashion using model-specific judgment data, with a steady performance improvement from 81.09 to 91.36 points on AlpacaEval. Our analysis further suggests that judgments exhibit greater potential than rewards for LLM alignment and warrant future research.