OffTopicEval : Quand les grands modèles de langage entrent dans le mauvais chat, presque toujours !

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

September 30, 2025

papers.authors: Jingdi Lei, Varun Gumma, Rishabh Bhardwaj, Seok Min Lim, Chuan Li, Amir Zadeh, Soujanya Poria

cs.AI

papers.abstract

La sécurité des grands modèles de langage (LLM) constitue l'un des défis les plus pressants pour permettre leur déploiement à grande échelle. Alors que la plupart des études et discussions mondiales se concentrent sur les risques génériques, tels que les modèles aidant les utilisateurs à se nuire ou à nuire à autrui, les entreprises sont confrontées à une préoccupation plus fondamentale : les agents basés sur des LLM sont-ils sûrs pour leur cas d'usage spécifique ? Pour répondre à cette question, nous introduisons la notion de sécurité opérationnelle, définie comme la capacité d'un LLM à accepter ou refuser de manière appropriée les requêtes des utilisateurs lorsqu'il est assigné à un objectif précis. Nous proposons également OffTopicEval, une suite d'évaluation et un benchmark pour mesurer la sécurité opérationnelle, à la fois de manière générale et dans des cas d'usage spécifiques d'agents. Nos évaluations sur six familles de modèles comprenant 20 LLM open-weight révèlent que, bien que les performances varient selon les modèles, tous restent fortement non sécurisés sur le plan opérationnel. Même les modèles les plus performants — Qwen-3 (235B) avec 77,77 % et Mistral (24B) avec 79,96 % — sont loin d'atteindre une sécurité opérationnelle fiable, tandis que les modèles GPT plafonnent dans la plage 62–73 %, Phi obtient des scores intermédiaires (48–70 %), et Gemma et Llama-3 chutent respectivement à 39,53 % et 23,84 %. Bien que la sécurité opérationnelle soit un problème central d'alignement des modèles, pour réduire ces échecs, nous proposons des méthodes de guidage basées sur les prompts : l'ancrage des requêtes (Q-ground) et l'ancrage des prompts système (P-ground), qui améliorent considérablement le refus hors domaine (OOD). Q-ground apporte des gains constants allant jusqu'à 23 %, tandis que P-ground offre des améliorations encore plus importantes, augmentant Llama-3.3 (70B) de 41 % et Qwen-3 (30B) de 27 %. Ces résultats soulignent à la fois le besoin urgent d'interventions en matière de sécurité opérationnelle et la promesse du guidage basé sur les prompts comme première étape vers des agents basés sur des LLM plus fiables.

English

Large Language Model (LLM) safety is one of the most pressing challenges for enabling wide-scale deployment. While most studies and global discussions focus on generic harms, such as models assisting users in harming themselves or others, enterprises face a more fundamental concern: whether LLM-based agents are safe for their intended use case. To address this, we introduce operational safety, defined as an LLM's ability to appropriately accept or refuse user queries when tasked with a specific purpose. We further propose OffTopicEval, an evaluation suite and benchmark for measuring operational safety both in general and within specific agentic use cases. Our evaluations on six model families comprising 20 open-weight LLMs reveal that while performance varies across models, all of them remain highly operationally unsafe. Even the strongest models -- Qwen-3 (235B) with 77.77\% and Mistral (24B) with 79.96\% -- fall far short of reliable operational safety, while GPT models plateau in the 62--73\% range, Phi achieves only mid-level scores (48--70\%), and Gemma and Llama-3 collapse to 39.53\% and 23.84\%, respectively. While operational safety is a core model alignment issue, to suppress these failures, we propose prompt-based steering methods: query grounding (Q-ground) and system-prompt grounding (P-ground), which substantially improve OOD refusal. Q-ground provides consistent gains of up to 23\%, while P-ground delivers even larger boosts, raising Llama-3.3 (70B) by 41\% and Qwen-3 (30B) by 27\%. These results highlight both the urgent need for operational safety interventions and the promise of prompt-based steering as a first step toward more reliable LLM-based agents.