OffTopicEval: Когда большие языковые модели попадают не в ту беседу, почти всегда!

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

September 30, 2025

Авторы: Jingdi Lei, Varun Gumma, Rishabh Bhardwaj, Seok Min Lim, Chuan Li, Amir Zadeh, Soujanya Poria

cs.AI

Аннотация

Безопасность больших языковых моделей (LLM) является одной из наиболее актуальных проблем для их широкомасштабного внедрения. В то время как большинство исследований и глобальных обсуждений сосредоточены на общих рисках, таких как помощь моделей пользователям в причинении вреда себе или другим, предприятия сталкиваются с более фундаментальной проблемой: безопасны ли LLM-агенты для их целевого использования. Для решения этой проблемы мы вводим понятие операционной безопасности, определяемой как способность LLM корректно принимать или отклонять запросы пользователей при выполнении конкретной задачи. Мы также предлагаем OffTopicEval — набор инструментов и эталон для оценки операционной безопасности как в общем случае, так и в рамках конкретных агентских сценариев. Наши оценки шести семейств моделей, включающих 20 открытых LLM, показывают, что, несмотря на различия в производительности, все они остаются крайне небезопасными в операционном плане. Даже самые сильные модели — Qwen-3 (235B) с показателем 77,77% и Mistral (24B) с 79,96% — далеки от надежной операционной безопасности, в то время как модели GPT стабилизируются в диапазоне 62–73%, Phi демонстрирует средние результаты (48–70%), а Gemma и Llama-3 опускаются до 39,53% и 23,84% соответственно. Хотя операционная безопасность является ключевой проблемой согласованности моделей, для подавления этих сбоев мы предлагаем методы управления на основе промптов: привязка к запросу (Q-ground) и привязка к системному промпту (P-ground), которые значительно улучшают отклонение запросов вне области применения. Q-ground обеспечивает стабильный прирост до 23%, а P-ground дает еще больший эффект, повышая Llama-3.3 (70B) на 41% и Qwen-3 (30B) на 27%. Эти результаты подчеркивают как острую необходимость вмешательств для обеспечения операционной безопасности, так и потенциал управления на основе промптов в качестве первого шага к созданию более надежных LLM-агентов.

English

Large Language Model (LLM) safety is one of the most pressing challenges for enabling wide-scale deployment. While most studies and global discussions focus on generic harms, such as models assisting users in harming themselves or others, enterprises face a more fundamental concern: whether LLM-based agents are safe for their intended use case. To address this, we introduce operational safety, defined as an LLM's ability to appropriately accept or refuse user queries when tasked with a specific purpose. We further propose OffTopicEval, an evaluation suite and benchmark for measuring operational safety both in general and within specific agentic use cases. Our evaluations on six model families comprising 20 open-weight LLMs reveal that while performance varies across models, all of them remain highly operationally unsafe. Even the strongest models -- Qwen-3 (235B) with 77.77\% and Mistral (24B) with 79.96\% -- fall far short of reliable operational safety, while GPT models plateau in the 62--73\% range, Phi achieves only mid-level scores (48--70\%), and Gemma and Llama-3 collapse to 39.53\% and 23.84\%, respectively. While operational safety is a core model alignment issue, to suppress these failures, we propose prompt-based steering methods: query grounding (Q-ground) and system-prompt grounding (P-ground), which substantially improve OOD refusal. Q-ground provides consistent gains of up to 23\%, while P-ground delivers even larger boosts, raising Llama-3.3 (70B) by 41\% and Qwen-3 (30B) by 27\%. These results highlight both the urgent need for operational safety interventions and the promise of prompt-based steering as a first step toward more reliable LLM-based agents.