토큰보다 상태: 추론 토큰의 역할 규명

초록

대규모 언어 모델(LLM)은 복잡한 작업에서 성능을 향상시키기 위해 최종 답변에 앞서 추론 토큰을 생성할 수 있습니다. 이러한 토큰 열은 인간의 사고 과정처럼 보이지만, 경험적 증거에 따르면 이는 모델의 실제 추론 과정을 충실히 설명하지 않습니다. 이러한 외양과 기능 간의 괴리를 해결하기 위해 우리는 '토큰에 대한 상태(State over Tokens, SoT)' 개념적 프레임워크를 제시합니다. SoT는 추론 토큰을 언어적 서사가 아닌 외현화된 계산적 상태, 즉 모델의 상태 비보유(stateless) 생성 주기 전체를 관통하는 유일한 지속적 정보 운반체로 재정의합니다. 이는 해당 토큰들이 텍스트로 읽혔을 때에는 충실한 설명이 아니면서도 어떻게 정확한 추론을 주도할 수 있는지를 설명하고, 이 토큰들에 대해 기존에 간과되었던 연구 질문들을 부각시킵니다. 우리는 LLM이 수행하는 과정을 진정으로 이해하기 위해서는 추론 토큰을 텍스트로 읽는 것을 넘어, 이를 상태(state)로 디코딩하는 데 연구 초점을 맞춰야 한다고 주장합니다.

English

Large Language Models (LLMs) can generate reasoning tokens before their final answer to boost performance on complex tasks. While these sequences seem like human thought processes, empirical evidence reveals that they are not a faithful explanation of the model's actual reasoning process. To address this gap between appearance and function, we introduce the State over Tokens (SoT) conceptual framework. SoT reframes reasoning tokens not as a linguistic narrative, but as an externalized computational state -- the sole persistent information carrier across the model's stateless generation cycles. This explains how the tokens can drive correct reasoning without being a faithful explanation when read as text and surfaces previously overlooked research questions on these tokens. We argue that to truly understand the process that LLMs do, research must move beyond reading the reasoning tokens as text and focus on decoding them as state.

토큰보다 상태: 추론 토큰의 역할 규명

State over Tokens: Characterizing the Role of Reasoning Tokens

초록

Support