세차장까지 걸어가시겠습니까? 상식 추론에서 대규모 언어 모델의 현저성 편향을 밝혀내기

초록

대규모 언어 모델(LLM)이 복잡한 추론 과제에서 계속 발전함에 따라, 입력에 제공된 명시적 조건을 크게 우선시하도록 학습되었다. 그러나 일상적인 상식 추론에서 이러한 메커니즘은 우리가 현저성 편향(Salience Bias)이라고 명명한 중요한 취약점을 드러낸다. 모델이 수치 값과 같은 무용한 명시적 방해 요소에 쉽게 포획되어 과제의 암묵적 물리적 또는 상식적 전제 조건을 무시하게 되는 것이다. 핵심적인 미해결 질문은 이러한 실패가 상식 지식의 실제 부재를 반영하는지, 아니면 오해를 불러일으키는 과제 구성(task framing) 하에서 지식이 단지 억제된 것인지 여부이다. 이를 조사하기 위해 우리는 네 가지 함정 차원에 걸친 고품질 데이터셋인 SaliTrap 벤치마크를 구축한다. 최첨단 12개 LLM을 평가한 결과, 모든 주류 모델이 현저성 편향으로 상당한 피해를 입으며, 그 심각성은 방해 요소 밀도에 따라 증가하고, 함정을 탐지하는 것과 실제로 회피하는 것은 종종 분리되어 있음을 발견했다. 중요하게도, 과제 구성을 제거한 상태에서 동일한 모델을 다시 유도함으로써, 이것이 지식 부재가 아니라 지식 억제의 실패임을 압도적으로 보여준다. 맥락이 없는 지식 탐침만으로도 아첨적 동조(sycophantic-compliance) 실패의 90% 이상을 회복할 수 있으며, 이는 필요한 상식이 본래 존재하지만, 모델을 과도한 동조와 불필요한 계산으로 유인하는 현저한 방해 요소에 의해 적극적으로 밀려난다는 것을 드러낸다. 이 진단을 바탕으로, 우리는 가벼운 추론 시점 프롬프팅만으로도 재학습 없이 격차를 상당히 줄일 수 있음을 추가로 보여준다. 우리의 발견은 상식 추론 실패의 병목을 모델 역량에서 유도(elicitation)로 재위치시킨다. 그리고 이 맹점을 위한 테스트베드로 SaliTrap을 공개한다. 코드는 https://github.com/Wuzheng02/SaliTrap에서 확인할 수 있다.

English

As large language models (LLMs) continue to advance in complex reasoning tasks, they have learned to heavily prioritize explicit conditions provided in the input. However, in everyday commonsense reasoning, this mechanism exposes a critical vulnerability which we term Salience Bias: models become easily hijacked by useless explicit distractors (e.g., numerical values), leading them to ignore the implicit physical or commonsense prerequisites of a task. A critical open question is whether this failure reflects a genuine gap in commonsense knowledge or merely its suppression under misleading task framing. To investigate this, we construct the SaliTrap Benchmark, a high-quality dataset across four trap dimensions. Evaluating 12 state-of-the-art LLMs, we find that all mainstream models suffer significantly from salience bias, with severity scaling with distractor density and detecting the trap often decoupled from actually avoiding it. Crucially, by re-eliciting the same models with the task framing stripped away, we show that this is overwhelmingly a failure of knowledge suppression rather than knowledge absence: a context-free knowledge probe alone recovers over 90\% of sycophantic-compliance failures, revealing that the requisite commonsense is intrinsically present but actively crowded out by salient distractors that lure the model into over-compliant, unnecessary computation. Building on this diagnosis, we further show that lightweight, inference-time prompting alone substantially closes the gap without any retraining. Our findings relocate the bottleneck of commonsense reasoning failures from model competence to elicitation, and we release SaliTrap as a testbed for this blind spot. The codes are available at https://github.com/Wuzheng02/SaliTrap.