OffTopicEval: Wanneer Grote Taalmodellen (Bijna) Altijd in de Verkeerde Chat Belanden!

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

September 30, 2025

Auteurs: Jingdi Lei, Varun Gumma, Rishabh Bhardwaj, Seok Min Lim, Chuan Li, Amir Zadeh, Soujanya Poria

cs.AI

Samenvatting

Veiligheid van Large Language Models (LLM's) is een van de meest urgente uitdagingen voor het mogelijk maken van grootschalige inzet. Terwijl de meeste studies en wereldwijde discussies zich richten op algemene risico's, zoals modellen die gebruikers helpen zichzelf of anderen te schaden, hebben bedrijven een meer fundamentele zorg: of LLM-gebaseerde agents veilig zijn voor hun beoogde gebruiksscenario. Om dit aan te pakken, introduceren we operationele veiligheid, gedefinieerd als het vermogen van een LLM om gebruikersverzoeken op gepaste wijze te accepteren of te weigeren wanneer deze een specifiek doel dienen. We stellen verder OffTopicEval voor, een evaluatiesuite en benchmark voor het meten van operationele veiligheid, zowel in het algemeen als binnen specifieke agentgebruiksscenario's. Onze evaluaties van zes modelfamilies bestaande uit 20 open-weight LLM's laten zien dat, hoewel de prestaties variëren tussen modellen, allemaal nog steeds zeer operationeel onveilig zijn. Zelfs de sterkste modellen — Qwen-3 (235B) met 77,77% en Mistral (24B) met 79,96% — blijven ver verwijderd van betrouwbare operationele veiligheid, terwijl GPT-modellen een plateau bereiken in het bereik van 62–73%, Phi slechts middelmatige scores behaalt (48–70%), en Gemma en Llama-3 instorten naar respectievelijk 39,53% en 23,84%. Hoewel operationele veiligheid een kernprobleem is van modelalignment, stellen we prompt-based steering-methoden voor om deze fouten te onderdrukken: query grounding (Q-ground) en system-prompt grounding (P-ground), die de OOD-weigering aanzienlijk verbeteren. Q-ground levert consistente verbeteringen van tot 23%, terwijl P-ground nog grotere verbeteringen biedt, waarbij Llama-3.3 (70B) met 41% en Qwen-3 (30B) met 27% worden verhoogd. Deze resultaten benadrukken zowel de dringende behoefte aan interventies voor operationele veiligheid als de belofte van prompt-based steering als een eerste stap naar betrouwbaardere LLM-gebaseerde agents.

English

Large Language Model (LLM) safety is one of the most pressing challenges for enabling wide-scale deployment. While most studies and global discussions focus on generic harms, such as models assisting users in harming themselves or others, enterprises face a more fundamental concern: whether LLM-based agents are safe for their intended use case. To address this, we introduce operational safety, defined as an LLM's ability to appropriately accept or refuse user queries when tasked with a specific purpose. We further propose OffTopicEval, an evaluation suite and benchmark for measuring operational safety both in general and within specific agentic use cases. Our evaluations on six model families comprising 20 open-weight LLMs reveal that while performance varies across models, all of them remain highly operationally unsafe. Even the strongest models -- Qwen-3 (235B) with 77.77\% and Mistral (24B) with 79.96\% -- fall far short of reliable operational safety, while GPT models plateau in the 62--73\% range, Phi achieves only mid-level scores (48--70\%), and Gemma and Llama-3 collapse to 39.53\% and 23.84\%, respectively. While operational safety is a core model alignment issue, to suppress these failures, we propose prompt-based steering methods: query grounding (Q-ground) and system-prompt grounding (P-ground), which substantially improve OOD refusal. Q-ground provides consistent gains of up to 23\%, while P-ground delivers even larger boosts, raising Llama-3.3 (70B) by 41\% and Qwen-3 (30B) by 27\%. These results highlight both the urgent need for operational safety interventions and the promise of prompt-based steering as a first step toward more reliable LLM-based agents.