말하기 전에 알기: LLM 표현은 완료 전 사고 사슬(Chain-of-Thought) 성공에 대한 정보를 인코딩한다

Knowing Before Saying: LLM Representations Encode Information About Chain-of-Thought Success Before Completion

May 30, 2025

저자: Anum Afzal, Florian Matthes, Gal Chechik, Yftah Ziser

cs.AI

초록

제로샷 사고 연쇄(Chain-of-Thought, CoT) 과정의 성공 여부를 완료 전에 예측할 수 있는지 조사합니다. 우리는 LLM 표현을 기반으로 한 프로빙 분류기가 단일 토큰도 생성되기 전에 이미 잘 작동한다는 것을 발견했는데, 이는 초기 단계 표현에 이미 추론 과정에 대한 중요한 정보가 포함되어 있음을 시사합니다. 반면, 생성된 토큰에만 의존하는 강력한 BERT 기반 베이스라인은 더 나쁜 성능을 보이는데, 이는 더 깊은 추론 역학보다는 피상적인 언어적 단서에 의존하기 때문일 가능성이 높습니다. 놀랍게도, 이후의 추론 단계를 사용하더라도 분류 성능이 항상 개선되는 것은 아닙니다. 추가 컨텍스트가 도움이 되지 않을 때, 초기 표현이 이후 표현과 더 유사해지는데, 이는 LLM이 초기에 핵심 정보를 인코딩한다는 것을 시사합니다. 이는 추론이 손실 없이 조기에 중단될 수 있음을 의미합니다. 이를 테스트하기 위해 조기 중단 실험을 수행했는데, CoT 추론을 중단하더라도 CoT를 전혀 사용하지 않는 것보다 성능이 개선되지만, 완전한 추론과 비교했을 때 여전히 격차가 남아 있음을 보여줍니다. 그러나 CoT 체인을 단축하기 위해 설계된 지도 학습 또는 강화 학습과 같은 접근 방식은 우리 분류기의 지도를 활용하여 조기 중단이 효과적인 시점을 식별할 수 있습니다. 우리의 연구 결과는 이러한 방법을 지원할 수 있는 통찰력을 제공함으로써 CoT의 효율성을 최적화하면서 그 이점을 보존하는 데 도움을 줄 수 있습니다.

English

We investigate whether the success of a zero-shot Chain-of-Thought (CoT) process can be predicted before completion. We discover that a probing classifier, based on LLM representations, performs well even before a single token is generated, suggesting that crucial information about the reasoning process is already present in the initial steps representations. In contrast, a strong BERT-based baseline, which relies solely on the generated tokens, performs worse, likely because it depends on shallow linguistic cues rather than deeper reasoning dynamics. Surprisingly, using later reasoning steps does not always improve classification. When additional context is unhelpful, earlier representations resemble later ones more, suggesting LLMs encode key information early. This implies reasoning can often stop early without loss. To test this, we conduct early stopping experiments, showing that truncating CoT reasoning still improves performance over not using CoT at all, though a gap remains compared to full reasoning. However, approaches like supervised learning or reinforcement learning designed to shorten CoT chains could leverage our classifier's guidance to identify when early stopping is effective. Our findings provide insights that may support such methods, helping to optimize CoT's efficiency while preserving its benefits.