OffTopicEval: Quando Modelos de Linguagem de Grande Escala Entram no Chat Errado, Quase Sempre!

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

September 30, 2025

Autores: Jingdi Lei, Varun Gumma, Rishabh Bhardwaj, Seok Min Lim, Chuan Li, Amir Zadeh, Soujanya Poria

cs.AI

Resumo

A segurança dos Modelos de Linguagem de Grande Escala (LLMs) é um dos desafios mais urgentes para permitir sua implantação em larga escala. Embora a maioria dos estudos e discussões globais se concentre em danos genéricos, como modelos que auxiliam usuários a se prejudicarem ou prejudicarem outros, as empresas enfrentam uma preocupação mais fundamental: se os agentes baseados em LLMs são seguros para seus casos de uso pretendidos. Para abordar isso, introduzimos o conceito de segurança operacional, definida como a capacidade de um LLM de aceitar ou recusar adequadamente as consultas dos usuários quando designado para um propósito específico. Além disso, propomos o OffTopicEval, um conjunto de avaliações e um benchmark para medir a segurança operacional tanto de forma geral quanto em casos de uso específicos de agentes. Nossas avaliações em seis famílias de modelos, compreendendo 20 LLMs de pesos abertos, revelam que, embora o desempenho varie entre os modelos, todos eles permanecem altamente inseguros do ponto de vista operacional. Mesmo os modelos mais fortes — Qwen-3 (235B) com 77,77% e Mistral (24B) com 79,96% — ficam muito aquém de uma segurança operacional confiável, enquanto os modelos GPT estacionam na faixa de 62–73%, o Phi alcança apenas pontuações intermediárias (48–70%), e o Gemma e o Llama-3 caem para 39,53% e 23,84%, respectivamente. Embora a segurança operacional seja uma questão central de alinhamento de modelos, para suprimir essas falhas, propomos métodos de direcionamento baseados em prompts: ancoragem de consulta (Q-ground) e ancoragem de prompt do sistema (P-ground), que melhoram substancialmente a recusa fora do domínio (OOD). O Q-ground proporciona ganhos consistentes de até 23%, enquanto o P-ground oferece aumentos ainda maiores, elevando o Llama-3.3 (70B) em 41% e o Qwen-3 (30B) em 27%. Esses resultados destacam tanto a necessidade urgente de intervenções de segurança operacional quanto o potencial do direcionamento baseado em prompts como um primeiro passo para agentes baseados em LLMs mais confiáveis.

English

Large Language Model (LLM) safety is one of the most pressing challenges for enabling wide-scale deployment. While most studies and global discussions focus on generic harms, such as models assisting users in harming themselves or others, enterprises face a more fundamental concern: whether LLM-based agents are safe for their intended use case. To address this, we introduce operational safety, defined as an LLM's ability to appropriately accept or refuse user queries when tasked with a specific purpose. We further propose OffTopicEval, an evaluation suite and benchmark for measuring operational safety both in general and within specific agentic use cases. Our evaluations on six model families comprising 20 open-weight LLMs reveal that while performance varies across models, all of them remain highly operationally unsafe. Even the strongest models -- Qwen-3 (235B) with 77.77\% and Mistral (24B) with 79.96\% -- fall far short of reliable operational safety, while GPT models plateau in the 62--73\% range, Phi achieves only mid-level scores (48--70\%), and Gemma and Llama-3 collapse to 39.53\% and 23.84\%, respectively. While operational safety is a core model alignment issue, to suppress these failures, we propose prompt-based steering methods: query grounding (Q-ground) and system-prompt grounding (P-ground), which substantially improve OOD refusal. Q-ground provides consistent gains of up to 23\%, while P-ground delivers even larger boosts, raising Llama-3.3 (70B) by 41\% and Qwen-3 (30B) by 27\%. These results highlight both the urgent need for operational safety interventions and the promise of prompt-based steering as a first step toward more reliable LLM-based agents.