Gründe zur Ablehnung? Ausrichtung von Sprachmodellen an Urteilen

Reasons to Reject? Aligning Language Models with Judgments

December 22, 2023

Autoren: Weiwen Xu, Deng Cai, Zhisong Zhang, Wai Lam, Shuming Shi

cs.AI

Zusammenfassung

Als Menschen interagieren wir ständig mit unseren Mitmenschen und erhalten Rückmeldungen in Form von natürlicher Sprache. Diese sprachlichen Rückmeldungen ermöglichen es uns, über unsere Handlungen nachzudenken, angemessenes Verhalten beizubehalten und unsere Fehler zu korrigieren. Es stellt sich daher die naheliegende Frage: Können wir sprachliche Rückmeldungen nutzen, um große Sprachmodelle (LLMs) auszurichten? Im Gegensatz zu früheren Forschungsarbeiten, die LLMs mit Belohnungs- oder Präferenzdaten ausrichten, präsentieren wir die erste systematische Untersuchung der Ausrichtung durch die Linse sprachlicher Rückmeldungen (d. h. Urteile). Wir beginnen mit einer detaillierten Untersuchung potenzieller Methoden, die für die Ausrichtung von LLMs mit Urteilen angepasst werden können, und zeigen, dass diese Methoden die Urteile nicht vollständig nutzen können. Um eine effektivere Nutzung von Urteilen zu ermöglichen, schlagen wir ein neuartiges Framework vor, das Contrastive Unlikelihood Training (CUT), das eine fein abgestimmte Erkennung und Korrektur unangemessener Inhalte auf der Grundlage von Urteilen ermöglicht. Unsere Offline-Ausrichtungsergebnisse zeigen, dass CUT (LLaMA2-13b) mit lediglich 1317 vorgefertigten Urteilsdaten das 175B DaVinci003 übertreffen und den besten Baseline-Wert auf AlpacaEval um 52,34 Punkte überbieten kann. Die Online-Ausrichtungsergebnisse demonstrieren, dass CUT LLMs (LLaMA2-chat-13b) in einem iterativen Prozess mit modellspezifischen Urteilsdaten ausrichten kann, wobei die Leistung kontinuierlich von 81,09 auf 91,36 Punkte auf AlpacaEval verbessert wird. Unsere Analyse deutet weiterhin darauf hin, dass Urteile ein größeres Potenzial als Belohnungen für die Ausrichtung von LLMs aufweisen und zukünftige Forschung rechtfertigen.

English

As humans, we consistently engage in interactions with our peers and receive feedback in the form of natural language. This language feedback allows us to reflect on our actions, maintain appropriate behavior, and rectify our errors. The question arises naturally: can we use language feedback to align large language models (LLMs)? In contrast to previous research that aligns LLMs with reward or preference data, we present the first systematic exploration of alignment through the lens of language feedback (i.e., judgment). We commence with an in-depth investigation of potential methods that can be adapted for aligning LLMs with judgments, revealing that these methods are unable to fully capitalize on the judgments. To facilitate more effective utilization of judgments, we propose a novel framework, Contrastive Unlikelihood Training (CUT), that allows for fine-grained inappropriate content detection and correction based on judgments. Our offline alignment results show that, with merely 1317 off-the-shelf judgment data, CUT (LLaMA2-13b) can beat the 175B DaVinci003 and surpass the best baseline by 52.34 points on AlpacaEval. The online alignment results demonstrate that CUT can align LLMs (LLaMA2-chat-13b) in an iterative fashion using model-specific judgment data, with a steady performance improvement from 81.09 to 91.36 points on AlpacaEval. Our analysis further suggests that judgments exhibit greater potential than rewards for LLM alignment and warrant future research.