TRIDENT : Amélioration de la sécurité des grands modèles de langage grâce à la synthèse de données de test d'intrusion tri-dimensionnelle diversifiée
TRIDENT: Enhancing Large Language Model Safety with Tri-Dimensional Diversified Red-Teaming Data Synthesis
May 30, 2025
papers.authors: Xiaorui Wu, Xiaofeng Mao, Fei Li, Xin Zhang, Xuanhong Li, Chong Teng, Donghong Ji, Zhuang Li
cs.AI
papers.abstract
Les modèles de langage de grande taille (LLMs) excellent dans diverses tâches de traitement du langage naturel, mais restent vulnérables à la génération de contenus nuisibles ou à l'exploitation à des fins malveillantes. Bien que des ensembles de données d'alignement de sécurité aient été introduits pour atténuer ces risques grâce à un réglage fin supervisé (SFT), ces ensembles de données manquent souvent de couverture exhaustive des risques. La plupart des ensembles de données existants se concentrent principalement sur la diversité lexicale tout en négligeant d'autres dimensions critiques. Pour remédier à cette limitation, nous proposons un cadre d'analyse novateur permettant de mesurer systématiquement la couverture des risques des ensembles de données d'alignement selon trois dimensions essentielles : la diversité lexicale, l'intention malveillante et les tactiques de contournement (jailbreak). Nous introduisons également TRIDENT, un pipeline automatisé qui exploite la génération zero-shot basée sur des personnages par des LLM pour produire des instructions diversifiées et complètes couvrant ces dimensions. Chaque instruction nuisible est associée à une réponse éthiquement alignée, résultant en deux ensembles de données : TRIDENT-Core, comprenant 26 311 exemples, et TRIDENT-Edge, avec 18 773 exemples. Le réglage fin de Llama 3.1-8B sur TRIDENT-Edge montre des améliorations substantielles, avec une réduction moyenne de 14,29 % du score de nuisance et une diminution de 20 % du taux de réussite des attaques par rapport au modèle de référence le plus performant réglé sur l'ensemble de données WildBreak.
English
Large Language Models (LLMs) excel in various natural language processing
tasks but remain vulnerable to generating harmful content or being exploited
for malicious purposes. Although safety alignment datasets have been introduced
to mitigate such risks through supervised fine-tuning (SFT), these datasets
often lack comprehensive risk coverage. Most existing datasets focus primarily
on lexical diversity while neglecting other critical dimensions. To address
this limitation, we propose a novel analysis framework to systematically
measure the risk coverage of alignment datasets across three essential
dimensions: Lexical Diversity, Malicious Intent, and Jailbreak Tactics. We
further introduce TRIDENT, an automated pipeline that leverages persona-based,
zero-shot LLM generation to produce diverse and comprehensive instructions
spanning these dimensions. Each harmful instruction is paired with an ethically
aligned response, resulting in two datasets: TRIDENT-Core, comprising 26,311
examples, and TRIDENT-Edge, with 18,773 examples. Fine-tuning Llama 3.1-8B on
TRIDENT-Edge demonstrates substantial improvements, achieving an average 14.29%
reduction in Harm Score, and a 20% decrease in Attack Success Rate compared to
the best-performing baseline model fine-tuned on the WildBreak dataset.