SafeRoute: Adaptieve Modelselectie voor Efficiënte en Nauwkeurige Veiligheidsbeveiliging in Grote Taalmodellen

SafeRoute: Adaptive Model Selection for Efficient and Accurate Safety Guardrails in Large Language Models

February 18, 2025

Auteurs: Seanie Lee, Dong Bok Lee, Dominik Wagner, Minki Kang, Haebin Seong, Tobias Bocklet, Juho Lee, Sung Ju Hwang

cs.AI

Samenvatting

Het inzetten van grote taalmodellen (LLMs) in real-world toepassingen vereist robuuste veiligheidsmodellen om schadelijke gebruikersprompts te detecteren en te blokkeren. Hoewel grote veiligheidsmodellen sterke prestaties leveren, zijn de rekenkosten aanzienlijk. Om dit te beperken, worden kleinere gedistilleerde modellen gebruikt, maar deze presteren vaak minder goed op "moeilijke" voorbeelden waar het grotere model nauwkeurige voorspellingen geeft. We merken op dat veel invoer betrouwbaar kan worden afgehandeld door het kleinere model, terwijl slechts een klein deel de capaciteit van het grotere model vereist. Gemotiveerd door dit inzicht, stellen we SafeRoute voor, een binaire router die moeilijke voorbeelden van eenvoudige onderscheidt. Onze methode past het grotere veiligheidsmodel selectief toe op gegevens die de router als moeilijk beschouwt, waardoor de efficiëntie wordt verbeterd terwijl de nauwkeurigheid behouden blijft in vergelijking met het uitsluitend gebruik van het grotere veiligheidsmodel. Experimentele resultaten op meerdere benchmarkdatasets tonen aan dat onze adaptieve modelselectie de afweging tussen rekenkosten en veiligheidsprestaties aanzienlijk verbetert en relevante baselines overtreft.

English

Deploying large language models (LLMs) in real-world applications requires robust safety guard models to detect and block harmful user prompts. While large safety guard models achieve strong performance, their computational cost is substantial. To mitigate this, smaller distilled models are used, but they often underperform on "hard" examples where the larger model provides accurate predictions. We observe that many inputs can be reliably handled by the smaller model, while only a small fraction require the larger model's capacity. Motivated by this, we propose SafeRoute, a binary router that distinguishes hard examples from easy ones. Our method selectively applies the larger safety guard model to the data that the router considers hard, improving efficiency while maintaining accuracy compared to solely using the larger safety guard model. Experimental results on multiple benchmark datasets demonstrate that our adaptive model selection significantly enhances the trade-off between computational cost and safety performance, outperforming relevant baselines.