Effiziente Erkennung von giftigen Eingaben in großen Sprachmodellen

Efficient Detection of Toxic Prompts in Large Language Models

August 21, 2024

Autoren: Yi Liu, Junzhe Yu, Huijia Sun, Ling Shi, Gelei Deng, Yuqi Chen, Yang Liu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) wie ChatGPT und Gemini haben die natürliche Sprachverarbeitung erheblich vorangetrieben, was verschiedene Anwendungen wie Chatbots und automatisierte Inhalteerstellung ermöglicht. Allerdings können diese Modelle von bösartigen Personen ausgenutzt werden, die giftige Eingaben erstellen, um schädliche oder unethische Antworten zu provozieren. Diese Personen verwenden oft Jailbreaking-Techniken, um Sicherheitsmechanismen zu umgehen, was die Notwendigkeit robuster Methoden zur Erkennung von giftigen Eingaben hervorhebt. Bestehende Erkennungstechniken, sowohl Blackbox als auch Whitebox, stehen vor Herausforderungen im Zusammenhang mit der Vielfalt giftiger Eingaben, Skalierbarkeit und Rechenleistung. Als Antwort schlagen wir ToxicDetector vor, eine leichte Greybox-Methode, die darauf abzielt, giftige Eingaben in LLMs effizient zu erkennen. ToxicDetector nutzt LLMs, um giftige Konzepteingaben zu erstellen, verwendet Einbettungsvektoren zur Bildung von Merkmalsvektoren und setzt einen Multi-Layer Perceptron (MLP)-Klassifikator für die Eingabeklassifizierung ein. Unsere Evaluation an verschiedenen Versionen der LLama-Modelle, Gemma-2 und mehreren Datensätzen zeigt, dass ToxicDetector eine hohe Genauigkeit von 96,39\% und eine niedrige Falsch-Positiv-Rate von 2,00\% erreicht und damit Methoden auf dem neuesten Stand der Technik übertrifft. Darüber hinaus macht die Verarbeitungszeit von 0,0780 Sekunden pro Eingabe ToxicDetector sehr gut geeignet für Echtzeitanwendungen. ToxicDetector erzielt hohe Genauigkeit, Effizienz und Skalierbarkeit und ist somit eine praktische Methode zur Erkennung von giftigen Eingaben in LLMs.

English

Large language models (LLMs) like ChatGPT and Gemini have significantly advanced natural language processing, enabling various applications such as chatbots and automated content generation. However, these models can be exploited by malicious individuals who craft toxic prompts to elicit harmful or unethical responses. These individuals often employ jailbreaking techniques to bypass safety mechanisms, highlighting the need for robust toxic prompt detection methods. Existing detection techniques, both blackbox and whitebox, face challenges related to the diversity of toxic prompts, scalability, and computational efficiency. In response, we propose ToxicDetector, a lightweight greybox method designed to efficiently detect toxic prompts in LLMs. ToxicDetector leverages LLMs to create toxic concept prompts, uses embedding vectors to form feature vectors, and employs a Multi-Layer Perceptron (MLP) classifier for prompt classification. Our evaluation on various versions of the LLama models, Gemma-2, and multiple datasets demonstrates that ToxicDetector achieves a high accuracy of 96.39\% and a low false positive rate of 2.00\%, outperforming state-of-the-art methods. Additionally, ToxicDetector's processing time of 0.0780 seconds per prompt makes it highly suitable for real-time applications. ToxicDetector achieves high accuracy, efficiency, and scalability, making it a practical method for toxic prompt detection in LLMs.