사고 관성: LLM은 생각하지 말라는 지시에도 계속 생각한다

초록

대규모 언어 모델(LLM)은 점점 더 명시적인 "사고 모드(thinking mode)"를 갖추어 출시되고 있지만, 그에 대응하는 "사고하지 않기(no-thinking)"는 훨씬 덜 주목받아 왔다. 우리는 LLM의 no-thinking 행동을 두 축으로 연구한다. a. no-thinking을 어떻게 측정할 것인가? 선행 연구는 일반적으로 비활성화된 사고 모드나 긴 트레이스의 부재와 같은 대리 지표를 통해 no-thinking을 정의한다. 이러한 대리 지표는 신뢰할 수 없다. 비활성화된 사고 모드도 여전히 추론을 출력할 수 있으며, 긴 트레이스는 진정한 추론이 아니라 채우기용 내용을 포함할 수 있기 때문이다. 우리는 대신 각 응답을 답변 전 트레이스(pre-answer trace)와 최종 답변으로 정규화하고, 이를 세 가지 수준에서 평가한다. (i) 엄격한 답변만 준수에 대한 Empty-Thinking Rate(빈 사고율), (ii) 질문과 답변 전 트레이스 간의 유사도에 대한 지시 인식 Question-Pre-answer Relevance(질문-답변 전 관련성), (iii) 가시적인 명시적 추론에 대한 LLM-as-judge Explicit Inference Rate(LLM 심판 기반 명시적 추론 비율). 이 지표들은 함께 답변만 있는 출력, 관련성은 있지만 추론적이지 않은 텍스트, 그리고 명시적 추론을 구별한다. b. no-thinking은 과제와 모델에 따라 어떻게 달라지는가? 우리는 불리언, 객관식, 개방형 질문에 걸쳐 여섯 개 LLM에 대한 여섯 가지 프롬프트 개입을 평가한다. 우리는 명시적 no-think 제어가 가시적 추론을 안정적으로 제거할 수 없다는 것을 발견한다. 대신 모델들은 "사고 관성(Thinking Inertia)"을 보인다. 명시적 추론은 엄격한 제어 아래에서도 지속되고, 답변 공간이 열릴수록 더 널리 나타난다. 정확도는 불리언 및 객관식 과제에서 안정적으로 유지되지만, 개방형 과제에서는 답변만 준수하기와 과제 정확도 사이의 트레이드오프가 드러난다. 동일한 질문을 여러 답변 공간에 걸쳐 다시 작성하면, 후보 답변을 제공하는 것이 답변만 있는 응답을 더 쉽게 생성하도록 만든다는 것을 보여준다. 이러한 발견은 no-thinking이 결코 사소하지 않은 능력임을 확립한다. 명시적 추론을 멈추는 것은 모델 설정이나 지시만으로 가정할 수 없으며, 추론 능력과 함께 체계적으로 평가할 가치가 있다.

English

Large Language Models (LLMs) increasingly ship with explicit "thinking modes", yet their counterpart, "no-thinking", has received far less attention. We study LLMs' no-thinking behavior along two axes. a. How to measure no-thinking? Prior work typically defines no-thinking through proxies such as a disabled thinking mode or the absence of long traces. These proxies are unreliable: disabled thinking modes may still emit reasoning, while long traces may contain filler rather than genuine inference. We instead normalize each response into a pre-answer trace and final answer, and evaluate it at three levels: (i) Empty-Thinking Rate for strict answer-only compliance; (ii) instruction-aware Question-Pre-answer Relevance for similarity between the question and pre-answer trace; and (iii) LLM-as-judge Explicit Inference Rate for visible explicit inference. Together, these metrics distinguish answer-only output, relevant but non-inferential text, and explicit inference. b. How does no-thinking vary across tasks and models? We evaluate six prompting interventions on six LLMs across Boolean, multiple-choice, and open-ended questions. We find that explicit no-think controls cannot reliably eliminate visible inference. Models instead exhibit "Thinking Inertia": explicit inference persists even under strict controls and becomes more prevalent as the answer space opens. Accuracy remains stable on Boolean and multiple-choice tasks, whereas open-ended tasks reveal a trade-off between answer-only compliance and task accuracy. Rewriting the same questions across answer spaces shows that supplying candidate answers makes answer-only responses easier to produce. These findings establish no-thinking as a non-trivial capability: stopping explicit reasoning cannot be assumed from model settings or instructions alone and deserves systematic evaluation alongside reasoning ability.

사고 관성: LLM은 생각하지 말라는 지시에도 계속 생각한다

Thinking Inertia: LLMs Keep Thinking When Told Not To

초록

Support