OffTopicEval: Cuando los Modelos de Lenguaje de Gran Escala Entran en el Chat Equivocado, ¡Casi Siempre!

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

September 30, 2025

Autores: Jingdi Lei, Varun Gumma, Rishabh Bhardwaj, Seok Min Lim, Chuan Li, Amir Zadeh, Soujanya Poria

cs.AI

Resumen

La seguridad de los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) es uno de los desafíos más urgentes para habilitar su implementación a gran escala. Si bien la mayoría de los estudios y discusiones globales se centran en daños genéricos, como modelos que ayudan a los usuarios a dañarse a sí mismos o a otros, las empresas enfrentan una preocupación más fundamental: si los agentes basados en LLM son seguros para su caso de uso específico. Para abordar esto, introducimos la seguridad operacional, definida como la capacidad de un LLM para aceptar o rechazar adecuadamente las consultas de los usuarios cuando se le asigna un propósito específico. Además, proponemos OffTopicEval, un conjunto de evaluación y referencia para medir la seguridad operacional tanto en general como dentro de casos de uso agentivos específicos. Nuestras evaluaciones en seis familias de modelos que comprenden 20 LLM de peso abierto revelan que, aunque el rendimiento varía entre modelos, todos ellos siguen siendo altamente inseguros desde el punto de vista operacional. Incluso los modelos más fuertes —Qwen-3 (235B) con un 77,77 % y Mistral (24B) con un 79,96 %— están muy lejos de alcanzar una seguridad operacional confiable, mientras que los modelos GPT se estancan en el rango del 62-73 %, Phi logra solo puntuaciones intermedias (48-70 %), y Gemma y Llama-3 caen a 39,53 % y 23,84 %, respectivamente. Si bien la seguridad operacional es un problema central de alineación de modelos, para suprimir estos fallos, proponemos métodos de direccionamiento basados en prompts: anclaje de consultas (Q-ground) y anclaje de prompts del sistema (P-ground), que mejoran sustancialmente el rechazo fuera de distribución (OOD). Q-ground proporciona ganancias consistentes de hasta un 23 %, mientras que P-ground ofrece mejoras aún mayores, elevando Llama-3.3 (70B) en un 41 % y Qwen-3 (30B) en un 27 %. Estos resultados destacan tanto la necesidad urgente de intervenciones en seguridad operacional como la promesa del direccionamiento basado en prompts como un primer paso hacia agentes basados en LLM más confiables.

English

Large Language Model (LLM) safety is one of the most pressing challenges for enabling wide-scale deployment. While most studies and global discussions focus on generic harms, such as models assisting users in harming themselves or others, enterprises face a more fundamental concern: whether LLM-based agents are safe for their intended use case. To address this, we introduce operational safety, defined as an LLM's ability to appropriately accept or refuse user queries when tasked with a specific purpose. We further propose OffTopicEval, an evaluation suite and benchmark for measuring operational safety both in general and within specific agentic use cases. Our evaluations on six model families comprising 20 open-weight LLMs reveal that while performance varies across models, all of them remain highly operationally unsafe. Even the strongest models -- Qwen-3 (235B) with 77.77\% and Mistral (24B) with 79.96\% -- fall far short of reliable operational safety, while GPT models plateau in the 62--73\% range, Phi achieves only mid-level scores (48--70\%), and Gemma and Llama-3 collapse to 39.53\% and 23.84\%, respectively. While operational safety is a core model alignment issue, to suppress these failures, we propose prompt-based steering methods: query grounding (Q-ground) and system-prompt grounding (P-ground), which substantially improve OOD refusal. Q-ground provides consistent gains of up to 23\%, while P-ground delivers even larger boosts, raising Llama-3.3 (70B) by 41\% and Qwen-3 (30B) by 27\%. These results highlight both the urgent need for operational safety interventions and the promise of prompt-based steering as a first step toward more reliable LLM-based agents.