확산이 언어 모델에 어디에서 들어가야 하는가? 기하학 기반 은닉 상태 대체

초록

연속 확산 언어 모델은 자기회귀 트랜스포머에 비해 뒤처져 있는데, 그 이유 중 하나는 확산이 언어 잡음 제거 및 토큰 복구에 부적합한 공간에서 적용되기 때문이다. 우리는 사전 훈련된 트랜스포머의 어느 지점에 확산이 진입해야 하는지 묻는 기하학 기반 확산-트랜스포머 하이브리드 DiHAL을 제안한다. DiHAL은 기하학 기반 프록시로 층을 평가하고, 확산에 친화적인 은닉 상태 인터페이스를 선택하며, 상부 층과 원래 LM 헤드는 유지한 채 하부 트랜스포머 프리픽스를 확산 브리지로 대체한다. DiHAL은 토큰 대신 선택된 층의 은닉 상태를 재구성함으로써 직접적인 연속-이산 복구를 회피한다. 8B 규모 백본에 대한 실험은 기하학 점수가 고정된 브리지 훈련 프로토콜 하에서 효과적인 얕은 삽입 층을 예측하며, 확산/복구 훈련 예산을 일치시킨 진단 비교에서 은닉 상태 복구가 연속 확산 기준선보다 향상됨을 보여준다. 이러한 결과는 은닉 상태 기하학이 사전 훈련된 언어 모델 내부에서 확산 기반 대체가 가능한 지점을 식별하는 데 도움이 됨을 시사한다.

English

Continuous diffusion language models lag behind autoregressive transformers, partly because diffusion is applied in spaces poorly suited to language denoising and token recovery. We propose DiHAL, a geometry-guided diffusion-transformer hybrid that asks where diffusion should enter a pretrained transformer. DiHAL scores layers with geometry-based proxies, selects a diffusion-friendly hidden-state interface, and replaces the lower transformer prefix with a diffusion bridge while retaining the upper layers and original LM head. By reconstructing the selected-layer hidden state rather than tokens, DiHAL avoids direct continuous-to-discrete recovery. Experiments on 8B-scale backbones show that the geometry score predicts effective shallow insertion layers under a fixed bridge-training protocol and that hidden-state recovery improves over continuous diffusion baselines in a diagnostic comparison matching the diffusion/recovery training budget. These results suggest that hidden-state geometry helps identify where diffusion-based replacement is feasible inside pretrained language models.