FourierSampler: Раскрытие потенциала неавторегрессивных методов в диффузионных языковых моделях через частотно-управляемую генерацию
FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation
January 30, 2026
Авторы: Siyang He, Qiqi Wang, Xiaoran Liu, Hongnan Ma, Yiwei Shi, Yuerong Song, Ying Zhu, Tianyi Liang, Zengfeng Huang, Ziwei He, Xipeng Qiu
cs.AI
Аннотация
Несмотря на неавторегрессионный потенциал диффузионных языковых моделей (dLLM), существующие стратегии декодирования демонстрируют позиционное смещение, не позволяя полностью раскрыть потенциал произвольного порождения текста. В данной работе мы исследуем присущие dLLM спектральные характеристики и представляем первый частотно-доменный анализ, показывающий, что низкочастотные компоненты в скрытых состояниях в основном кодируют глобальную структурную информацию и дальние зависимости, тогда как высокочастотные компоненты отвечают за характеристику локальных деталей. На основе этого наблюдения мы предлагаем FourierSampler — метод, использующий механизм скользящего окна в частотной области для динамического управления моделью с целью достижения генерации «от структуры к деталям». FourierSampler превосходит другие стратегии улучшения вывода на наборах данных LLADA и SDAR, достигая относительного улучшения на 20.4% для LLaDA1.5-8B и на 16.0% для LLaDA-8B-Instruct. Он также значительно опережает авторегрессионные модели сопоставимого размера, такие как Llama3.1-8B-Instruct.
English
Despite the non-autoregressive potential of diffusion language models (dLLMs), existing decoding strategies demonstrate positional bias, failing to fully unlock the potential of arbitrary generation. In this work, we delve into the inherent spectral characteristics of dLLMs and present the first frequency-domain analysis showing that low-frequency components in hidden states primarily encode global structural information and long-range dependencies, while high-frequency components are responsible for characterizing local details. Based on this observation, we propose FourierSampler, which leverages a frequency-domain sliding window mechanism to dynamically guide the model to achieve a "structure-to-detail" generation. FourierSampler outperforms other inference enhancement strategies on LLADA and SDAR, achieving relative improvements of 20.4% on LLaDA1.5-8B and 16.0% on LLaDA-8B-Instruct. It notably surpasses similarly sized autoregressive models like Llama3.1-8B-Instruct.