TRIDENT: Verbesserung der Sicherheit großer Sprachmodelle durch dreidimensionale, diversifizierte Red-Teaming-Datensynthese

TRIDENT: Enhancing Large Language Model Safety with Tri-Dimensional Diversified Red-Teaming Data Synthesis

May 30, 2025

Autoren: Xiaorui Wu, Xiaofeng Mao, Fei Li, Xin Zhang, Xuanhong Li, Chong Teng, Donghong Ji, Zhuang Li

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeichnen sich in verschiedenen Aufgaben der natürlichen Sprachverarbeitung aus, bleiben jedoch anfällig für die Erzeugung schädlicher Inhalte oder die Ausnutzung zu bösartigen Zwecken. Obwohl Sicherheitsausrichtungsdatensätze eingeführt wurden, um solche Risiken durch überwachtes Fein-Tuning (SFT) zu mindern, bieten diese Datensätze oft keine umfassende Risikoabdeckung. Die meisten bestehenden Datensätze konzentrieren sich hauptsächlich auf lexikalische Vielfalt, während andere kritische Dimensionen vernachlässigt werden. Um diese Einschränkung zu überwinden, schlagen wir ein neuartiges Analyseframework vor, das die Risikoabdeckung von Ausrichtungsdatensätzen systematisch über drei wesentliche Dimensionen misst: Lexikalische Vielfalt, Bösartige Absicht und Jailbreak-Taktiken. Darüber hinaus stellen wir TRIDENT vor, eine automatisierte Pipeline, die persona-basierte, Zero-Shot-LLM-Generierung nutzt, um vielfältige und umfassende Anweisungen zu erzeugen, die diese Dimensionen abdecken. Jede schädliche Anweisung wird mit einer ethisch ausgerichteten Antwort gepaart, was zu zwei Datensätzen führt: TRIDENT-Core, bestehend aus 26.311 Beispielen, und TRIDENT-Edge, mit 18.773 Beispielen. Das Fein-Tuning von Llama 3.1-8B auf TRIDENT-Edge zeigt erhebliche Verbesserungen, mit einer durchschnittlichen Reduzierung des Harm Score um 14,29 % und einer 20 %igen Verringerung der Angriffserfolgsrate im Vergleich zum besten Baseline-Modell, das auf dem WildBreak-Datensatz feinabgestimmt wurde.

English

Large Language Models (LLMs) excel in various natural language processing tasks but remain vulnerable to generating harmful content or being exploited for malicious purposes. Although safety alignment datasets have been introduced to mitigate such risks through supervised fine-tuning (SFT), these datasets often lack comprehensive risk coverage. Most existing datasets focus primarily on lexical diversity while neglecting other critical dimensions. To address this limitation, we propose a novel analysis framework to systematically measure the risk coverage of alignment datasets across three essential dimensions: Lexical Diversity, Malicious Intent, and Jailbreak Tactics. We further introduce TRIDENT, an automated pipeline that leverages persona-based, zero-shot LLM generation to produce diverse and comprehensive instructions spanning these dimensions. Each harmful instruction is paired with an ethically aligned response, resulting in two datasets: TRIDENT-Core, comprising 26,311 examples, and TRIDENT-Edge, with 18,773 examples. Fine-tuning Llama 3.1-8B on TRIDENT-Edge demonstrates substantial improvements, achieving an average 14.29% reduction in Harm Score, and a 20% decrease in Attack Success Rate compared to the best-performing baseline model fine-tuned on the WildBreak dataset.