생각하는 것은 LLM 에이전트를 내성적으로 만든다: 사용자 참여형 에이전트에서 강제적 사고가 역효과를 낼 수 있는 이유

Thinking Makes LLM Agents Introverted: How Mandatory Thinking Can Backfire in User-Engaged Agents

February 8, 2026

저자: Jiatong Li, Changdae Oh, Hyeong Kyu Choi, Jindong Wang, Sharon Li

cs.AI

초록

사고 유도(eliciting reasoning)는 복잡한 과제에서 대규모 언어 모델(LLM)의 성능을 사고를 통해 향상시키는 강력한 기법으로 부상했습니다. 그러나 실제 사용자 참여 에이전트 시나리오에서의 효과는 여전히 불분명합니다. 본 논문에서는 사용자 참여형 LLM 에이전트에서 명시적 사고의 효과에 대한 포괄적 연구를 수행합니다. 실험은 7개 모델, 3개 벤치마크, 2가지 사고 구현체에 걸쳐 진행되었으며, 정량적 응답 분류 분석과 정성적 실패 전파 사례 연구를 통해 평가합니다. 예상과 달리, 사용자 참여 환경에서 의무적 사고는 종종 에이전트에 역효과를 내어 다양한 LLM에서 비정상적인 성능 저하를 초래하는 것으로 나타났습니다. 핵심 발견은 사고가 에이전트의 응답을 단축하고 사용자에 대한 정보 공개를 감소시켜 에이전트를 더 "내향적"으로 만들며, 이로 인해 에이전트-사용자 간 정보 교환이 약화되어 하류 과제 실패로 이어진다는 점입니다. 더 나아가, 정보 공개를 명시적으로 요구하는 프롬프트가 다양한 모델 패밀리에서 안정적으로 성능을 향상시킴을 입증하여, 능동적 투명성이 에이전트 최적화의 핵심 요소임을 시사합니다. 전반적으로 본 연구는 정보 투명성 인식이 현실 세계 시나리오에서 추론 에이전트의 미래 설계를 위한 중요하면서도 충분히 탐구되지 않은 관점임을 시사합니다. 코드는 https://github.com/deeplearning-wisc/Thinking-Agent에서 확인할 수 있습니다.

English

Eliciting reasoning has emerged as a powerful technique for improving the performance of large language models (LLMs) on complex tasks by inducing thinking. However, their effectiveness in realistic user-engaged agent scenarios remains unclear. In this paper, we conduct a comprehensive study on the effect of explicit thinking in user-engaged LLM agents. Our experiments span across seven models, three benchmarks, and two thinking instantiations, and we evaluate them through both a quantitative response taxonomy analysis and qualitative failure propagation case studies. Contrary to expectations, we find that mandatory thinking often backfires on agents in user-engaged settings, causing anomalous performance degradation across various LLMs. Our key finding reveals that thinking makes agents more ``introverted'' by shortening responses and reducing information disclosure to users, which weakens agent-user information exchange and leads to downstream task failures. Furthermore, we demonstrate that explicitly prompting for information disclosure reliably improves performance across diverse model families, suggesting that proactive transparency is a vital lever for agent optimization. Overall, our study suggests that information transparency awareness is a crucial yet underexplored perspective for the future design of reasoning agents in real-world scenarios. Our code is available at https://github.com/deeplearning-wisc/Thinking-Agent.