Sentinel: SOTA-Modell zum Schutz vor Prompt-Injections

Sentinel: SOTA model to protect against prompt injections

June 5, 2025

Autoren: Dror Ivry, Oran Nahum

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) werden zwar zunehmend leistungsfähig, bleiben jedoch anfällig für Prompt-Injection-Angriffe, bei denen bösartige Eingaben das Modell dazu veranlassen, von seinen vorgesehenen Anweisungen abzuweichen. Dieses Papier stellt Sentinel vor, ein neuartiges Detektionsmodell, qualifire/prompt-injection-sentinel, basierend auf der \answerdotai/ModernBERT-large-Architektur. Durch die Nutzung der fortschrittlichen Funktionen von ModernBERT und Feinabstimmung auf einem umfangreichen und vielfältigen Datensatz, der einige Open-Source- und private Sammlungen umfasst, erreicht Sentinel Spitzenleistungen. Dieser Datensatz vereint verschiedene Angriffstypen, von Rollenspielen und Anweisungshijacking bis hin zu Versuchen, voreingenommene Inhalte zu generieren, sowie eine breite Palette von harmlosen Anweisungen, wobei private Datensätze speziell auf subtile Fehlerkorrekturen und reale Fehlklassifizierungen abzielen. Auf einem umfassenden, ungesehenen internen Testset zeigt Sentinel eine durchschnittliche Genauigkeit von 0,987 und einen F1-Score von 0,980. Darüber hinaus übertrifft es bei der Auswertung auf öffentlichen Benchmarks konsequent starke Baselines wie protectai/deberta-v3-base-prompt-injection-v2. Diese Arbeit beschreibt detailliert die Architektur von Sentinel, seine sorgfältige Datensatzkuration, seine Trainingsmethodik und eine umfassende Evaluierung, die seine überlegenen Erkennungsfähigkeiten hervorhebt.

English

Large Language Models (LLMs) are increasingly powerful but remain vulnerable to prompt injection attacks, where malicious inputs cause the model to deviate from its intended instructions. This paper introduces Sentinel, a novel detection model, qualifire/prompt-injection-sentinel, based on the \answerdotai/ModernBERT-large architecture. By leveraging ModernBERT's advanced features and fine-tuning on an extensive and diverse dataset comprising a few open-source and private collections, Sentinel achieves state-of-the-art performance. This dataset amalgamates varied attack types, from role-playing and instruction hijacking to attempts to generate biased content, alongside a broad spectrum of benign instructions, with private datasets specifically targeting nuanced error correction and real-world misclassifications. On a comprehensive, unseen internal test set, Sentinel demonstrates an average accuracy of 0.987 and an F1-score of 0.980. Furthermore, when evaluated on public benchmarks, it consistently outperforms strong baselines like protectai/deberta-v3-base-prompt-injection-v2. This work details Sentinel's architecture, its meticulous dataset curation, its training methodology, and a thorough evaluation, highlighting its superior detection capabilities.