OffTopicEval: Wenn große Sprachmodelle fast immer im falschen Chat landen!

papers.abstract

Die Sicherheit von Large Language Models (LLMs) ist eine der dringendsten Herausforderungen für deren breitflächigen Einsatz. Während sich die meisten Studien und globalen Diskussionen auf allgemeine Risiken konzentrieren, wie etwa die Unterstützung von Nutzern bei der Selbst- oder Fremdgefährdung durch Modelle, stehen Unternehmen vor einer grundlegenderen Frage: Sind LLM-basierte Agenten für ihren vorgesehenen Anwendungsfall sicher? Um dies zu adressieren, führen wir den Begriff der operationellen Sicherheit ein, definiert als die Fähigkeit eines LLMs, Nutzeranfragen angemessen anzunehmen oder abzulehnen, wenn es mit einem spezifischen Zweck beauftragt ist. Wir schlagen zudem OffTopicEval vor, eine Evaluationssuite und ein Benchmark zur Messung der operationellen Sicherheit sowohl im Allgemeinen als auch innerhalb spezifischer agentenbasierter Anwendungsfälle. Unsere Auswertungen von sechs Modellfamilien mit 20 Open-Weight-LLMs zeigen, dass die Leistung zwar zwischen den Modellen variiert, alle jedoch stark operationell unsicher bleiben. Selbst die stärksten Modelle – Qwen-3 (235B) mit 77,77 % und Mistral (24B) mit 79,96 % – liegen weit von zuverlässiger operationeller Sicherheit entfernt, während GPT-Modelle im Bereich von 62–73 % stagnieren, Phi nur mittlere Werte erreicht (48–70 %) und Gemma sowie Llama-3 auf 39,53 % bzw. 23,84 % abfallen. Obwohl operationelle Sicherheit ein Kernproblem der Modellausrichtung ist, schlagen wir zur Unterdrückung dieser Fehler prompt-basierte Steuerungsmethoden vor: Query Grounding (Q-Ground) und System-Prompt Grounding (P-Ground), die die OOD-Ablehnung erheblich verbessern. Q-Ground liefert konsistente Verbesserungen von bis zu 23 %, während P-Ground noch größere Steigerungen bewirkt und Llama-3.3 (70B) um 41 % sowie Qwen-3 (30B) um 27 % anhebt. Diese Ergebnisse unterstreichen sowohl den dringenden Bedarf an Interventionen zur operationellen Sicherheit als auch das Potenzial prompt-basierter Steuerung als ersten Schritt hin zu zuverlässigeren LLM-basierten Agenten.

English

Large Language Model (LLM) safety is one of the most pressing challenges for enabling wide-scale deployment. While most studies and global discussions focus on generic harms, such as models assisting users in harming themselves or others, enterprises face a more fundamental concern: whether LLM-based agents are safe for their intended use case. To address this, we introduce operational safety, defined as an LLM's ability to appropriately accept or refuse user queries when tasked with a specific purpose. We further propose OffTopicEval, an evaluation suite and benchmark for measuring operational safety both in general and within specific agentic use cases. Our evaluations on six model families comprising 20 open-weight LLMs reveal that while performance varies across models, all of them remain highly operationally unsafe. Even the strongest models -- Qwen-3 (235B) with 77.77\% and Mistral (24B) with 79.96\% -- fall far short of reliable operational safety, while GPT models plateau in the 62--73\% range, Phi achieves only mid-level scores (48--70\%), and Gemma and Llama-3 collapse to 39.53\% and 23.84\%, respectively. While operational safety is a core model alignment issue, to suppress these failures, we propose prompt-based steering methods: query grounding (Q-ground) and system-prompt grounding (P-ground), which substantially improve OOD refusal. Q-ground provides consistent gains of up to 23\%, while P-ground delivers even larger boosts, raising Llama-3.3 (70B) by 41\% and Qwen-3 (30B) by 27\%. These results highlight both the urgent need for operational safety interventions and the promise of prompt-based steering as a first step toward more reliable LLM-based agents.

OffTopicEval: Wenn große Sprachmodelle fast immer im falschen Chat landen!

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

papers.abstract

Support