잠재의식 시계: 확산 언어 모델에서의 잠재 시간 모델링

초록

확산 언어 모델(DLM)은 최근 자기회귀 모델의 유망한 대안으로 부상했다. 기존의 확산 기반 접근법과 달리 DLM은 시간 단계(timestep)에 명시적으로 조건화되지 않으며, 이는 자연스러운 질문을 제기한다: 이러한 모델이 내부적으로 잡음 제거 진행을 표현하는지, 그리고 그러한 정보가 하위 작업(downstream)에서 어떻게 활용되는가? 본 연구에서 우리는 DLM이 실제로 잔차 스트림(residual stream) 내에 확산 시간 단계와 관련된 잠재 표현을 인코딩하고 있음을 보여준다. 우리는 이 신호가 계층 전반에 걸친 프로브(probe)를 사용하여 신뢰할 수 있게 추출될 수 있으며, 이는 잡음 제거 진행이 내부 활성화로부터 복호화 가능함을 나타낸다. 나아가, 추론된 시간 단계와 관련된 저차원 부분공간을 따라 모델을 조종(steering)함으로써 잡음 제거 진행에 대한 모델의 인식을 체계적으로 조절할 수 있으며, 이는 모델의 신뢰도와 엔트로피에 있어 예측 가능한 변화를 초래한다. 마지막으로, 우리는 식별된 표현의 기하학을 분석하여 활성화 공간에서 구조화되고 해석 가능한 속성을 보여주며, 이러한 신호가 해당 모델에 의해 어떻게 처리되는지에 대한 통찰을 제공한다.

English

Diffusion Language Models (DLMs) have recently emerged as a promising alternative to autoregressive models. Unlike standard diffusion-based approaches, DLMs are not explicitly conditioned on a timestep, raising a natural question: do these models internally represent denoising progress, and how is such information used downstream? In this work, we show that DLMs do in fact encode a latent representation related to the diffusion timestep within their residual streams. We find that this signal can be reliably extracted using probes across layers, indicating that denoising progress is decodable from internal activations. We further demonstrate that steering the model along a low-dimensional subspace associated with the inferred timestep allows us to systematically modulate its notion of denoising progress, leading to predictable changes in model confidence and entropy. Finally, we analyse the geometry of the identified representation, showing that it exhibits structured and interpretable properties in activation space, and shedding light on how such a signal is processed by these models.