SafeRoute: Adaptive Modellauswahl für effiziente und präzise Sicherheitsbarrieren in großen Sprachmodellen

SafeRoute: Adaptive Model Selection for Efficient and Accurate Safety Guardrails in Large Language Models

February 18, 2025

Autoren: Seanie Lee, Dong Bok Lee, Dominik Wagner, Minki Kang, Haebin Seong, Tobias Bocklet, Juho Lee, Sung Ju Hwang

cs.AI

Zusammenfassung

Der Einsatz großer Sprachmodelle (LLMs) in realen Anwendungen erfordert robuste Sicherheitsmodelle, um schädliche Benutzereingaben zu erkennen und zu blockieren. Während große Sicherheitsmodelle eine hohe Leistung erzielen, sind ihre Rechenkosten erheblich. Um dies zu mindern, werden kleinere destillierte Modelle verwendet, die jedoch oft bei „schwierigen“ Beispielen, bei denen das größere Modell genaue Vorhersagen liefert, schlechter abschneiden. Wir beobachten, dass viele Eingaben zuverlässig vom kleineren Modell verarbeitet werden können, während nur ein kleiner Anteil die Kapazität des größeren Modells erfordert. Ausgehend von dieser Beobachtung schlagen wir SafeRoute vor, einen binären Router, der schwierige von einfachen Beispielen unterscheidet. Unsere Methode wendet das größere Sicherheitsmodell selektiv auf die Daten an, die der Router als schwierig einstuft, und verbessert so die Effizienz bei gleichbleibender Genauigkeit im Vergleich zur alleinigen Verwendung des größeren Sicherheitsmodells. Experimentelle Ergebnisse auf mehreren Benchmark-Datensätzen zeigen, dass unsere adaptive Modellauswahl das Verhältnis zwischen Rechenkosten und Sicherheitsleistung signifikant verbessert und relevante Baselines übertrifft.

English

Deploying large language models (LLMs) in real-world applications requires robust safety guard models to detect and block harmful user prompts. While large safety guard models achieve strong performance, their computational cost is substantial. To mitigate this, smaller distilled models are used, but they often underperform on "hard" examples where the larger model provides accurate predictions. We observe that many inputs can be reliably handled by the smaller model, while only a small fraction require the larger model's capacity. Motivated by this, we propose SafeRoute, a binary router that distinguishes hard examples from easy ones. Our method selectively applies the larger safety guard model to the data that the router considers hard, improving efficiency while maintaining accuracy compared to solely using the larger safety guard model. Experimental results on multiple benchmark datasets demonstrate that our adaptive model selection significantly enhances the trade-off between computational cost and safety performance, outperforming relevant baselines.