Kurskorrektur: Sicherheitsausrichtung unter Verwendung synthetischer Präferenzen

Course-Correction: Safety Alignment Using Synthetic Preferences

July 23, 2024

Autoren: Rongwu Xu, Yishuo Cai, Zhenhong Zhou, Renjie Gu, Haiqin Weng, Yan Liu, Tianwei Zhang, Wei Xu, Han Qiu

cs.AI

Zusammenfassung

Das Risiko schädlicher Inhalte, die von großen Sprachmodellen (LLMs) generiert werden, wird zu einem kritischen Anliegen. Dieser Artikel präsentiert eine systematische Studie zur Bewertung und Verbesserung der Fähigkeit von LLMs, die Aufgabe der Kurskorrektur auszuführen, d.h. das Modell kann autonom davon abweichen, schädliche Inhalte zu generieren. Zunächst stellen wir das C^2-Eval-Benchmark zur quantitativen Bewertung vor und analysieren 10 beliebte LLMs, wobei unterschiedliche Fähigkeiten der aktuellen sicherheitsoptimierten LLMs bei der Kurskorrektur aufgedeckt werden. Zur Verbesserung schlagen wir Feinabstimmung von LLMs mit Präferenzlernen vor, wobei die Präferenz für rechtzeitige Kurskorrekturen betont wird. Unter Verwendung eines automatisierten Workflows erstellen wir C^2-Syn, einen synthetischen Datensatz mit 750K paarweisen Präferenzen, um den Modellen das Konzept der rechtzeitigen Kurskorrektur durch datengesteuertes Präferenzlernen beizubringen. Experimente mit 2 LLMs, Llama2-Chat 7B und Qwen2 7B, zeigen, dass unsere Methode die Fähigkeiten zur Kurskorrektur effektiv verbessert, ohne die allgemeine Leistung zu beeinträchtigen. Darüber hinaus verbessert sie effektiv die Sicherheit von LLMs, insbesondere bei der Abwehr von Jailbreak-Angriffen.

English

The risk of harmful content generated by large language models (LLMs) becomes a critical concern. This paper presents a systematic study on assessing and improving LLMs' capability to perform the task of course-correction, \ie, the model can steer away from generating harmful content autonomously. To start with, we introduce the C^2-Eval benchmark for quantitative assessment and analyze 10 popular LLMs, revealing varying proficiency of current safety-tuned LLMs in course-correction. To improve, we propose fine-tuning LLMs with preference learning, emphasizing the preference for timely course-correction. Using an automated pipeline, we create C^2-Syn, a synthetic dataset with 750K pairwise preferences, to teach models the concept of timely course-correction through data-driven preference learning. Experiments on 2 LLMs, Llama2-Chat 7B and Qwen2 7B, show that our method effectively enhances course-correction skills without affecting general performance. Additionally, it effectively improves LLMs' safety, particularly in resisting jailbreak attacks.