デコードレベル・タブー：LLMのロバスト性を検証する診断的ストレステスト

要旨

大規模言語モデルの評価は通常、名目条件下での性能に焦点を当てており、モデルが狭く高度に最適化された生成経路を難なく歩んでいるという能力の錯覚を生み出している。しかし実運用では、複雑なシステムプロンプト、安全性ガードレール、構造的制約がモデルを絶えずこの名目経路から逸脱させ、ベンチマークスコアと実運用性能との間に乖離をもたらす。この問題に対処するため、我々はDecoding-Level Taboo（以下、Taboo）を導入する。これは、実行時にロジット空間へ直接介入してモデルを名目経路から強制的に逸脱させる、ゼロプロンプトの診断的ストレステストである。Tabooは単語境界における主要候補トークンを動的にマスキングすることで、機械による迂言表現を強制する。複数のオープンウェイトモデルファミリーにわたるTabooの評価により、オフパス堅牢性はパラメータ規模と事後訓練によるインストラクションアライメントの両方に強く影響を受け、堅牢性は概ねモデル規模とアライメントの向上に伴って改善することが明らかになった。本論文で提示された結果に加えて、Tabooは多様な合成データセットの生成、実行時安全性ガードレールのストレステスト、実世界展開前のモデル信頼性監査のための新規プリミティブを提供する。

English

Large language model evaluations typically focus on performance under nominal conditions, creating an illusion of capability where models comfortably walk a narrow, highly optimized generation corridor. In real-world deployments, however, complex system prompts, safety guardrails, and structural constraints continuously force models off this nominal path, driving a divergence between benchmark scores and deployment performance. To address this issue, we introduce Decoding-Level Taboo, a zero-prompt diagnostic stress test that intervenes directly in logit space at runtime, forcing models out of their nominal paths. By dynamically masking primary candidate tokens at word boundaries, Taboo forces machine circumlocution. Evaluating Taboo across several open-weight model families reveals that off-path robustness is heavily influenced by both parameter scale and post-training instruction alignment, with robustness generally improving with model size and alignment. Beyond the results presented in this paper, Taboo provides a novel primitive for generating diverse synthetic datasets, stress-testing runtime safety guardrails, and auditing model reliability prior to real-world deployment.