Detección eficiente de indicaciones tóxicas en modelos de lenguaje grandes

Efficient Detection of Toxic Prompts in Large Language Models

August 21, 2024

Autores: Yi Liu, Junzhe Yu, Huijia Sun, Ling Shi, Gelei Deng, Yuqi Chen, Yang Liu

cs.AI

Resumen

Los modelos de lenguaje grandes (LLMs) como ChatGPT y Gemini han avanzado significativamente en el procesamiento del lenguaje natural, permitiendo diversas aplicaciones como chatbots y generación automatizada de contenido. Sin embargo, estos modelos pueden ser explotados por individuos malintencionados que crean estímulos tóxicos para obtener respuestas dañinas o poco éticas. Estos individuos a menudo emplean técnicas de jailbreaking para evadir los mecanismos de seguridad, resaltando la necesidad de métodos robustos de detección de estímulos tóxicos. Las técnicas de detección existentes, tanto caja negra como caja blanca, enfrentan desafíos relacionados con la diversidad de estímulos tóxicos, la escalabilidad y la eficiencia computacional. En respuesta, proponemos ToxicDetector, un método greybox ligero diseñado para detectar eficientemente estímulos tóxicos en LLMs. ToxicDetector aprovecha los LLMs para crear estímulos conceptuales tóxicos, utiliza vectores de incrustación para formar vectores de características y emplea un clasificador de Perceptrón Multicapa (MLP) para la clasificación de estímulos. Nuestra evaluación en varias versiones de los modelos LLama, Gemma-2 y múltiples conjuntos de datos demuestra que ToxicDetector logra una alta precisión del 96.39\% y una baja tasa de falsos positivos del 2.00\%, superando a los métodos de vanguardia. Además, el tiempo de procesamiento de ToxicDetector de 0.0780 segundos por estímulo lo hace altamente adecuado para aplicaciones en tiempo real. ToxicDetector logra alta precisión, eficiencia y escalabilidad, convirtiéndolo en un método práctico para la detección de estímulos tóxicos en LLMs.

English

Large language models (LLMs) like ChatGPT and Gemini have significantly advanced natural language processing, enabling various applications such as chatbots and automated content generation. However, these models can be exploited by malicious individuals who craft toxic prompts to elicit harmful or unethical responses. These individuals often employ jailbreaking techniques to bypass safety mechanisms, highlighting the need for robust toxic prompt detection methods. Existing detection techniques, both blackbox and whitebox, face challenges related to the diversity of toxic prompts, scalability, and computational efficiency. In response, we propose ToxicDetector, a lightweight greybox method designed to efficiently detect toxic prompts in LLMs. ToxicDetector leverages LLMs to create toxic concept prompts, uses embedding vectors to form feature vectors, and employs a Multi-Layer Perceptron (MLP) classifier for prompt classification. Our evaluation on various versions of the LLama models, Gemma-2, and multiple datasets demonstrates that ToxicDetector achieves a high accuracy of 96.39\% and a low false positive rate of 2.00\%, outperforming state-of-the-art methods. Additionally, ToxicDetector's processing time of 0.0780 seconds per prompt makes it highly suitable for real-time applications. ToxicDetector achieves high accuracy, efficiency, and scalability, making it a practical method for toxic prompt detection in LLMs.