OffTopicEval: 大規模言語モデルが間違ったチャットに入る時、ほぼ常に！

要旨

大規模言語モデル（LLM）の安全性は、広範な展開を可能にする上で最も緊急の課題の一つです。ほとんどの研究や世界的な議論は、モデルがユーザーに自己や他者への危害を加える手助けをするといった一般的な害に焦点を当てていますが、企業はより根本的な懸念を抱えています：LLMベースのエージェントがその使用目的において安全かどうかです。これに対処するため、我々は「運用安全性」を導入します。これは、特定の目的を担う際にLLMがユーザーのクエリを適切に受け入れるか拒否する能力と定義されます。さらに、一般的な場合と特定のエージェント的ユースケースにおける運用安全性を測定するための評価スイートとベンチマークであるOffTopicEvalを提案します。20のオープンウェイトLLMを含む6つのモデルファミリーに対する評価では、モデル間で性能にばらつきがあるものの、すべてのモデルが依然として高度に運用上安全でないことが明らかになりました。最強のモデルでさえ、Qwen-3（235B）が77.77%、Mistral（24B）が79.96%と、信頼できる運用安全性には程遠い結果を示しています。一方、GPTモデルは62～73%の範囲で頭打ちとなり、Phiは中程度のスコア（48～70%）に留まり、GemmaとLlama-3はそれぞれ39.53%と23.84%にまで低下しました。運用安全性はモデルアラインメントの核心的な問題ですが、これらの失敗を抑制するため、我々はプロンプトベースのステアリング手法を提案します：クエリグラウンディング（Q-ground）とシステムプロンプトグラウンディング（P-ground）です。これらはOOD拒否を大幅に改善します。Q-groundは最大23%の一貫した向上をもたらし、P-groundはさらに大きな向上を実現し、Llama-3.3（70B）を41%、Qwen-3（30B）を27%向上させました。これらの結果は、運用安全性への介入の緊急性と、より信頼性の高いLLMベースのエージェントに向けた第一歩としてのプロンプトベースのステアリングの可能性を強調しています。

English

Large Language Model (LLM) safety is one of the most pressing challenges for enabling wide-scale deployment. While most studies and global discussions focus on generic harms, such as models assisting users in harming themselves or others, enterprises face a more fundamental concern: whether LLM-based agents are safe for their intended use case. To address this, we introduce operational safety, defined as an LLM's ability to appropriately accept or refuse user queries when tasked with a specific purpose. We further propose OffTopicEval, an evaluation suite and benchmark for measuring operational safety both in general and within specific agentic use cases. Our evaluations on six model families comprising 20 open-weight LLMs reveal that while performance varies across models, all of them remain highly operationally unsafe. Even the strongest models -- Qwen-3 (235B) with 77.77\% and Mistral (24B) with 79.96\% -- fall far short of reliable operational safety, while GPT models plateau in the 62--73\% range, Phi achieves only mid-level scores (48--70\%), and Gemma and Llama-3 collapse to 39.53\% and 23.84\%, respectively. While operational safety is a core model alignment issue, to suppress these failures, we propose prompt-based steering methods: query grounding (Q-ground) and system-prompt grounding (P-ground), which substantially improve OOD refusal. Q-ground provides consistent gains of up to 23\%, while P-ground delivers even larger boosts, raising Llama-3.3 (70B) by 41\% and Qwen-3 (30B) by 27\%. These results highlight both the urgent need for operational safety interventions and the promise of prompt-based steering as a first step toward more reliable LLM-based agents.

OffTopicEval: 大規模言語モデルが間違ったチャットに入る時、ほぼ常に！

OffTopicEval: When Large Language Models Enter the Wrong Chat, Almost Always!

要旨

Support