「あなたは洗車場まで歩いて行きますか？—大規模言語モデルの常識推論における顕著性バイアスの解明」

要旨

大規模言語モデル（LLM）が複雑な推論タスクにおいて進歩を続けるにつれ、モデルは入力に明示的に与えられた条件を優先的に重視するよう学習してきた。しかし、日常的な常識推論において、このメカニズムは我々が「顕著性バイアス（Salience Bias）」と呼ぶ重大な脆弱性を露呈する。すなわち、モデルは無意味な明示的妨害情報（例えば数値）に容易に乗っ取られ、タスクに暗黙に含まれる物理的・常識的前提を無視してしまうのである。この失敗が常識知識の真の欠落を反映しているのか、それとも誤解を招くタスク枠組みの下での知識の抑制に過ぎないのかは、重要な未解決問題である。この問いを解明するため、我々は4つのトラップ次元にわたる高品質データセットであるSaliTrapベンチマークを構築した。12種類の最先端LLMを評価した結果、すべての主流モデルが顕著性バイアスに有意に影響を受け、その深刻度は妨害情報の密度とともに増大すること、そしてトラップの検出が実際の回避からしばしば乖離していることが明らかになった。決定的なことに、タスク枠組みを取り除いた上で同じモデルから再び応答を引き出すことにより、この失敗は知識の欠如ではなく知識の抑制によるものであることが圧倒的に示された。文脈に依存しない知識プローブだけで、追従的過剰順守の失敗の90%以上が回復し、必要な常識は本来モデルに備わっているものの、過剰順守で不必要な計算へとモデルを誘う顕著な妨害情報によって積極的に締め出されていることが明らかになったのである。この診断に基づき、我々はさらに、軽量な推論時プロンプティングのみでも、再学習を一切行わずにギャップを大幅に縮められることを示す。我々の知見は、常識推論の失敗におけるボトルネックをモデルの能力から引き出し（elicitation）へと位置づけ直すものであり、この盲点を検証するためのテストベッドとしてSaliTrapを公開する。コードは https://github.com/Wuzheng02/SaliTrap で入手可能である。

English

As large language models (LLMs) continue to advance in complex reasoning tasks, they have learned to heavily prioritize explicit conditions provided in the input. However, in everyday commonsense reasoning, this mechanism exposes a critical vulnerability which we term Salience Bias: models become easily hijacked by useless explicit distractors (e.g., numerical values), leading them to ignore the implicit physical or commonsense prerequisites of a task. A critical open question is whether this failure reflects a genuine gap in commonsense knowledge or merely its suppression under misleading task framing. To investigate this, we construct the SaliTrap Benchmark, a high-quality dataset across four trap dimensions. Evaluating 12 state-of-the-art LLMs, we find that all mainstream models suffer significantly from salience bias, with severity scaling with distractor density and detecting the trap often decoupled from actually avoiding it. Crucially, by re-eliciting the same models with the task framing stripped away, we show that this is overwhelmingly a failure of knowledge suppression rather than knowledge absence: a context-free knowledge probe alone recovers over 90\% of sycophantic-compliance failures, revealing that the requisite commonsense is intrinsically present but actively crowded out by salient distractors that lure the model into over-compliant, unnecessary computation. Building on this diagnosis, we further show that lightweight, inference-time prompting alone substantially closes the gap without any retraining. Our findings relocate the bottleneck of commonsense reasoning failures from model competence to elicitation, and we release SaliTrap as a testbed for this blind spot. The codes are available at https://github.com/Wuzheng02/SaliTrap.