Эффективное обнаружение токсичных подсказок в больших языковых моделях

Efficient Detection of Toxic Prompts in Large Language Models

August 21, 2024

Авторы: Yi Liu, Junzhe Yu, Huijia Sun, Ling Shi, Gelei Deng, Yuqi Chen, Yang Liu

cs.AI

Аннотация

Большие языковые модели (LLM), такие как ChatGPT и Gemini, значительно продвинулись в области обработки естественного языка, позволяя различные приложения, такие как чат-боты и автоматическая генерация контента. Однако эти модели могут быть использованы злоумышленниками, которые создают токсичные подсказки для вызова вредных или неэтичных ответов. Эти лица часто применяют техники обхода безопасности, подчеркивая необходимость надежных методов обнаружения токсичных подсказок. Существующие методы обнаружения, как черный ящик, так и белый ящик, сталкиваются с проблемами, связанными с разнообразием токсичных подсказок, масштабируемостью и вычислительной эффективностью. В ответ на это мы предлагаем ToxicDetector, легкий серый ящик, разработанный для эффективного обнаружения токсичных подсказок в LLM. ToxicDetector использует LLM для создания токсичных концептуальных подсказок, использует векторы вложения для формирования признаковых векторов и применяет классификатор Multi-Layer Perceptron (MLP) для классификации подсказок. Наша оценка на различных версиях моделей LLama, Gemma-2 и нескольких наборах данных показывает, что ToxicDetector достигает высокой точности 96,39\% и низкого уровня ложных срабатываний 2,00\%, превосходя современные методы. Кроме того, время обработки ToxicDetector в размере 0,0780 секунды на подсказку делает его очень подходящим для приложений в реальном времени. ToxicDetector демонстрирует высокую точность, эффективность и масштабируемость, что делает его практичным методом для обнаружения токсичных подсказок в LLM.

English

Large language models (LLMs) like ChatGPT and Gemini have significantly advanced natural language processing, enabling various applications such as chatbots and automated content generation. However, these models can be exploited by malicious individuals who craft toxic prompts to elicit harmful or unethical responses. These individuals often employ jailbreaking techniques to bypass safety mechanisms, highlighting the need for robust toxic prompt detection methods. Existing detection techniques, both blackbox and whitebox, face challenges related to the diversity of toxic prompts, scalability, and computational efficiency. In response, we propose ToxicDetector, a lightweight greybox method designed to efficiently detect toxic prompts in LLMs. ToxicDetector leverages LLMs to create toxic concept prompts, uses embedding vectors to form feature vectors, and employs a Multi-Layer Perceptron (MLP) classifier for prompt classification. Our evaluation on various versions of the LLama models, Gemma-2, and multiple datasets demonstrates that ToxicDetector achieves a high accuracy of 96.39\% and a low false positive rate of 2.00\%, outperforming state-of-the-art methods. Additionally, ToxicDetector's processing time of 0.0780 seconds per prompt makes it highly suitable for real-time applications. ToxicDetector achieves high accuracy, efficiency, and scalability, making it a practical method for toxic prompt detection in LLMs.