SafeRoute: Seleção Adaptativa de Modelos para Barreiras de Segurança Eficientes e Precisas em Modelos de Linguagem de Grande Escala

SafeRoute: Adaptive Model Selection for Efficient and Accurate Safety Guardrails in Large Language Models

February 18, 2025

Autores: Seanie Lee, Dong Bok Lee, Dominik Wagner, Minki Kang, Haebin Seong, Tobias Bocklet, Juho Lee, Sung Ju Hwang

cs.AI

Resumo

A implantação de grandes modelos de linguagem (LLMs) em aplicações do mundo real requer modelos de segurança robustos para detectar e bloquear solicitações de usuários prejudiciais. Embora grandes modelos de segurança alcancem um desempenho forte, seu custo computacional é substancial. Para mitigar isso, modelos menores e destilados são utilizados, mas eles frequentemente têm desempenho inferior em exemplos "difíceis", onde o modelo maior fornece previsões precisas. Observamos que muitas entradas podem ser tratadas de forma confiável pelo modelo menor, enquanto apenas uma pequena fração requer a capacidade do modelo maior. Motivados por isso, propomos o SafeRoute, um roteador binário que distingue exemplos difíceis dos fáceis. Nosso método aplica seletivamente o modelo de segurança maior aos dados que o roteador considera difíceis, melhorando a eficiência enquanto mantém a precisão em comparação com o uso exclusivo do modelo de segurança maior. Resultados experimentais em múltiplos conjuntos de dados de referência demonstram que nossa seleção adaptativa de modelos melhora significativamente a relação entre custo computacional e desempenho de segurança, superando as linhas de base relevantes.

English

Deploying large language models (LLMs) in real-world applications requires robust safety guard models to detect and block harmful user prompts. While large safety guard models achieve strong performance, their computational cost is substantial. To mitigate this, smaller distilled models are used, but they often underperform on "hard" examples where the larger model provides accurate predictions. We observe that many inputs can be reliably handled by the smaller model, while only a small fraction require the larger model's capacity. Motivated by this, we propose SafeRoute, a binary router that distinguishes hard examples from easy ones. Our method selectively applies the larger safety guard model to the data that the router considers hard, improving efficiency while maintaining accuracy compared to solely using the larger safety guard model. Experimental results on multiple benchmark datasets demonstrate that our adaptive model selection significantly enhances the trade-off between computational cost and safety performance, outperforming relevant baselines.