사고 사슬에 존재하지 않는 글로벌 계획: LLM의 잠재적 계획 지평 탐구

초록

본 연구는 체인 오브 쏘트(CoT) 역학에 대한 선행 보완 관찰에서 비롯되었습니다: 대규모 언어 모델(LLM)은 CoT 출현 이전에 후속 추론을 잠재적으로 계획하는 능력을 보여주므로 명시적 CoT의 중요성이 감소하는 반면, 다단계 추론이 필요한 작업에서는 CoT가 여전히 중요합니다. LLM의 내부 상태와 언어화된 추론 궤적 간 관계 이해를 심화하기 위해 우리는 다양한 작업 영역의 은닉 상태에 적용하는 프로빙 방법인 Tele-Lens를 통해 LLM의 잠재 계획 강도를 조사합니다. 실험 결과에 따르면 LLM은 근시안적 시야를 나타내며, 정확한 전역 계획 없이 주로 점진적 전환을 수행합니다. 이 특성을 활용해 우리는 CoT 불확실성 추정 향상에 대한 가설을 제안하며, CoT 위치의 작은 부분 집합이 전체 경로의 불확실성을 효과적으로 대표할 수 있음을 검증합니다. 나아가 CoT 역학 활용의 중요성을 강조하고, 성능 저하 없이 CoT 우회의 자동 인식이 가능함을 입증합니다. 코드, 데이터 및 모델은 https://github.com/lxucs/tele-lens에서 공개됩니다.

English

This work stems from prior complementary observations on the dynamics of Chain-of-Thought (CoT): Large Language Models (LLMs) is shown latent planning of subsequent reasoning prior to CoT emergence, thereby diminishing the significance of explicit CoT; whereas CoT remains critical for tasks requiring multi-step reasoning. To deepen the understanding between LLM's internal states and its verbalized reasoning trajectories, we investigate the latent planning strength of LLMs, through our probing method, Tele-Lens, applying to hidden states across diverse task domains. Our empirical results indicate that LLMs exhibit a myopic horizon, primarily conducting incremental transitions without precise global planning. Leveraging this characteristic, we propose a hypothesis on enhancing uncertainty estimation of CoT, which we validate that a small subset of CoT positions can effectively represent the uncertainty of the entire path. We further underscore the significance of exploiting CoT dynamics, and demonstrate that automatic recognition of CoT bypass can be achieved without performance degradation. Our code, data and models are released at https://github.com/lxucs/tele-lens.

사고 사슬에 존재하지 않는 글로벌 계획: LLM의 잠재적 계획 지평 탐구

No Global Plan in Chain-of-Thought: Uncover the Latent Planning Horizon of LLMs

초록

Support