Rilevamento Efficiente di Prompt Tossici nei Modelli Linguistici di Grande Scala

Efficient Detection of Toxic Prompts in Large Language Models

August 21, 2024

Autori: Yi Liu, Junzhe Yu, Huijia Sun, Ling Shi, Gelei Deng, Yuqi Chen, Yang Liu

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) come ChatGPT e Gemini hanno fatto avanzare significativamente l'elaborazione del linguaggio naturale, abilitando varie applicazioni come chatbot e generazione automatizzata di contenuti. Tuttavia, questi modelli possono essere sfruttati da individui malintenzionati che creano prompt tossici per elicitare risposte dannose o non etiche. Questi individui spesso utilizzano tecniche di jailbreaking per bypassare i meccanismi di sicurezza, evidenziando la necessità di metodi robusti per il rilevamento di prompt tossici. Le tecniche di rilevamento esistenti, sia blackbox che whitebox, affrontano sfide legate alla diversità dei prompt tossici, alla scalabilità e all'efficienza computazionale. In risposta, proponiamo ToxicDetector, un metodo leggero di tipo greybox progettato per rilevare in modo efficiente i prompt tossici negli LLM. ToxicDetector sfrutta gli LLM per creare prompt concettuali tossici, utilizza vettori di embedding per formare vettori di feature e impiega un classificatore Multi-Layer Perceptron (MLP) per la classificazione dei prompt. La nostra valutazione su varie versioni dei modelli LLama, Gemma-2 e su più dataset dimostra che ToxicDetector raggiunge un'accuratezza elevata del 96,39\% e un basso tasso di falsi positivi del 2,00\%, superando i metodi all'avanguardia. Inoltre, il tempo di elaborazione di ToxicDetector di 0,0780 secondi per prompt lo rende altamente adatto per applicazioni in tempo reale. ToxicDetector raggiunge un'elevata accuratezza, efficienza e scalabilità, rendendolo un metodo pratico per il rilevamento di prompt tossici negli LLM.

English

Large language models (LLMs) like ChatGPT and Gemini have significantly advanced natural language processing, enabling various applications such as chatbots and automated content generation. However, these models can be exploited by malicious individuals who craft toxic prompts to elicit harmful or unethical responses. These individuals often employ jailbreaking techniques to bypass safety mechanisms, highlighting the need for robust toxic prompt detection methods. Existing detection techniques, both blackbox and whitebox, face challenges related to the diversity of toxic prompts, scalability, and computational efficiency. In response, we propose ToxicDetector, a lightweight greybox method designed to efficiently detect toxic prompts in LLMs. ToxicDetector leverages LLMs to create toxic concept prompts, uses embedding vectors to form feature vectors, and employs a Multi-Layer Perceptron (MLP) classifier for prompt classification. Our evaluation on various versions of the LLama models, Gemma-2, and multiple datasets demonstrates that ToxicDetector achieves a high accuracy of 96.39\% and a low false positive rate of 2.00\%, outperforming state-of-the-art methods. Additionally, ToxicDetector's processing time of 0.0780 seconds per prompt makes it highly suitable for real-time applications. ToxicDetector achieves high accuracy, efficiency, and scalability, making it a practical method for toxic prompt detection in LLMs.