拒否なき拒否：言語モデルにおける誤拒否低減のための安全性チューニング応答の構造分析

要旨

有用性と安全性のバランスを取ることは、大規模言語モデルのアライメントにおける根本的な課題であり続けている。このバランスを達成するには、モデルは有害なクエリ（例：「どうすれば人を撃てますか？」）を拒否しつつ、無害な入力（例：「どこで良い写真を撮れますか？」）には、たとえそれが表面的には有害なクエリに類似していても応答し続けるべきである。しかし、モデルは、真に有害なクエリと、表面上リスクのある表現を含む無害なクエリとを区別することにしばしば困難をきたし、その結果、誤った拒否が生じる。本論文では、安全性調整用データセット中の応答を、(i) 定型的な拒否文と (ii) 拒否理由の説明という、2つの異なる構成要素に分解することでこの問題に対処する。我々の実験と分析は、拒否文が表面的な手がかりへの依存を誘発することにより、有害なクエリと無害なクエリとの正確な識別を妨げることを示す。対照的に、拒否理由の説明のみを用いた学習は、同等レベルの安全性性能を維持しつつ誤った拒否を減らす。拒否理由説明のみの利点は、我々のICL構成でも観察され、評価した推論時緩和手法とも両立する。これらの結果は、厳選された細粒度の安全性教師データセットの必要性を強調し、有用性と安全性をより良く両立させるアライメントされたエージェントを構築するための方向性を示す。

English

Striking a balance between helpfulness and safety remains a fundamental challenge in aligning large language models. To achieve this balance, models should refuse harmful queries (e.g., "How do I shoot someone?") while remaining responsive to benign inputs, even those superficially resembling harmful queries (e.g., "Where can I shoot a good photo?"). However, models often struggle to distinguish genuinely harmful queries from benign queries that contain superficially risky language, resulting in false refusals. In this paper, we address the issue by decomposing a response in the safety-tuning dataset into two distinct components: (i) a boilerplate refusal statement and (ii) a rationale explaining the refusal. Our experiments and analyses show that refusal statements impede accurate discrimination between harmful and benign queries by inducing reliance on superficial cues. In contrast, training solely on rationales reduces false refusals while maintaining a comparable level of safety performance. Rationale-Only benefits also appear in our ICL configuration and remain compatible with the evaluated inference-time mitigation methods. The results emphasize the necessity of precisely curated, fine-grained safety supervision datasets and outline directions for constructing aligned agents that better reconcile helpfulness with safety.