Onde a Difusão Deve Entrar em um Modelo de Linguagem? Substituição de Estado Oculto Guiada por Geometria

Resumo

Modelos de linguagem de difusão contínua ficam aquém dos transformadores autorregressivos, em parte porque a difusão é aplicada em espaços pouco adequados à remoção de ruído e recuperação de tokens. Propomos o DiHAL, um híbrido difusão-transformador guiado por geometria que pergunta onde a difusão deve entrar em um transformador pré-treinado. O DiHAL pontua camadas com proxies baseados em geometria, seleciona uma interface de estado oculto amigável à difusão e substitui o prefixo inferior do transformador por uma ponte de difusão, mantendo as camadas superiores e a cabeça LM original. Ao reconstruir o estado oculto da camada selecionada em vez de tokens, o DiHAL evita a recuperação contínua-para-discreta direta. Experimentos em backbones de escala 8B mostram que o escore geométrico prevê camadas de inserção rasas eficazes sob um protocolo fixo de treinamento de ponte e que a recuperação do estado oculto melhora em relação às linhas de base de difusão contínua em uma comparação diagnóstica que iguala o orçamento de treinamento de difusão/recuperação. Esses resultados sugerem que a geometria do estado oculto ajuda a identificar onde a substituição baseada em difusão é viável dentro de modelos de linguagem pré-treinados.

English

Continuous diffusion language models lag behind autoregressive transformers, partly because diffusion is applied in spaces poorly suited to language denoising and token recovery. We propose DiHAL, a geometry-guided diffusion-transformer hybrid that asks where diffusion should enter a pretrained transformer. DiHAL scores layers with geometry-based proxies, selects a diffusion-friendly hidden-state interface, and replaces the lower transformer prefix with a diffusion bridge while retaining the upper layers and original LM head. By reconstructing the selected-layer hidden state rather than tokens, DiHAL avoids direct continuous-to-discrete recovery. Experiments on 8B-scale backbones show that the geometry score predicts effective shallow insertion layers under a fixed bridge-training protocol and that hidden-state recovery improves over continuous diffusion baselines in a diagnostic comparison matching the diffusion/recovery training budget. These results suggest that hidden-state geometry helps identify where diffusion-based replacement is feasible inside pretrained language models.