Sprachmodelle lernen, Menschen durch RLHF in die Irre zu führen.

Language Models Learn to Mislead Humans via RLHF

September 19, 2024

Autoren: Jiaxin Wen, Ruiqi Zhong, Akbir Khan, Ethan Perez, Jacob Steinhardt, Minlie Huang, Samuel R. Boman, He He, Shi Feng

cs.AI

Zusammenfassung

Sprachmodelle (LMs) können Fehler produzieren, die für Menschen schwer zu erkennen sind, insbesondere wenn die Aufgabe komplex ist. RLHF, die beliebteste Methode nach dem Training, könnte dieses Problem verschärfen: Um höhere Belohnungen zu erzielen, könnten LMs besser darin werden, Menschen zu überzeugen, dass sie richtig liegen, selbst wenn sie falsch liegen. Wir untersuchen dieses Phänomen unter einem standardmäßigen RLHF-Pipeline und nennen es "U-SOPHISTRY", da es unbeabsichtigt von den Modellentwicklern ist. Konkret bitten wir zeitlich eingeschränkte (z. B. 3-10 Minuten) menschliche Probanden, die Korrektheit der Modellausgaben zu bewerten und die Genauigkeit der Menschen gegenüber den Goldlabels zu berechnen. Bei einer Frage-Antwort-Aufgabe (QuALITY) und einer Programmieraufgabe (APPS) macht RLHF die LMs besser darin, unsere Probanden zu überzeugen, aber nicht darin, die Aufgabe korrekt abzuschließen. RLHF macht es auch schwieriger, das Modell zu bewerten: Die Falsch-Positiv-Rate unserer Probanden steigt um 24,1% bei QuALITY und 18,3% bei APPS. Schließlich zeigen wir, dass das Sondieren, ein hochmoderner Ansatz zur Erkennung von beabsichtigter Sophistik (z. B. Hintertür-LMs), nicht auf U-SOPHISTRY verallgemeinert. Unsere Ergebnisse verdeutlichen einen wichtigen Fehlermodus von RLHF und fordern weitere Forschung zur Unterstützung von Menschen, um sie auszurichten.

English

Language models (LMs) can produce errors that are hard to detect for humans, especially when the task is complex. RLHF, the most popular post-training method, may exacerbate this problem: to achieve higher rewards, LMs might get better at convincing humans that they are right even when they are wrong. We study this phenomenon under a standard RLHF pipeline, calling it "U-SOPHISTRY" since it is Unintended by model developers. Specifically, we ask time-constrained (e.g., 3-10 minutes) human subjects to evaluate the correctness of model outputs and calculate humans' accuracy against gold labels. On a question-answering task (QuALITY) and programming task (APPS), RLHF makes LMs better at convincing our subjects but not at completing the task correctly. RLHF also makes the model harder to evaluate: our subjects' false positive rate increases by 24.1% on QuALITY and 18.3% on APPS. Finally, we show that probing, a state-of-the-art approach for detecting Intended Sophistry (e.g. backdoored LMs), does not generalize to U-SOPHISTRY. Our results highlight an important failure mode of RLHF and call for more research in assisting humans to align them.