FourierSampler : Libérer le potentiel non-autorégressif des modèles de langage par diffusion via une génération guidée par les fréquences
FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation
January 30, 2026
papers.authors: Siyang He, Qiqi Wang, Xiaoran Liu, Hongnan Ma, Yiwei Shi, Yuerong Song, Ying Zhu, Tianyi Liang, Zengfeng Huang, Ziwei He, Xipeng Qiu
cs.AI
papers.abstract
Malgré le potentiel non-autorégressif des modèles de langage par diffusion (dLLM), les stratégies de décodage existantes présentent un biais positionnel, ne parvenant pas à libérer pleinement le potentiel de génération arbitraire. Dans ce travail, nous explorons les caractéristiques spectrales inhérentes aux dLLM et présentons la première analyse dans le domaine fréquentiel, montrant que les composantes basse fréquence des états cachés encodent principalement les informations structurelles globales et les dépendances à longue portée, tandis que les composantes haute fréquence sont responsables de la caractérisation des détails locaux. Sur la base de cette observation, nous proposons FourierSampler, qui exploite un mécanisme de fenêtre glissante dans le domaine fréquentiel pour guider dynamiquement le modèle vers une génération « de la structure au détail ». FourierSampler surpasse les autres stratégies d'amélioration de l'inférence sur LLADA et SDAR, obtenant des améliorations relatives de 20,4 % sur LLaDA1.5-8B et 16,0 % sur LLaDA-8B-Instruct. Il dépasse notably les modèles autorégressifs de taille similaire comme Llama3.1-8B-Instruct.
English
Despite the non-autoregressive potential of diffusion language models (dLLMs), existing decoding strategies demonstrate positional bias, failing to fully unlock the potential of arbitrary generation. In this work, we delve into the inherent spectral characteristics of dLLMs and present the first frequency-domain analysis showing that low-frequency components in hidden states primarily encode global structural information and long-range dependencies, while high-frequency components are responsible for characterizing local details. Based on this observation, we propose FourierSampler, which leverages a frequency-domain sliding window mechanism to dynamically guide the model to achieve a "structure-to-detail" generation. FourierSampler outperforms other inference enhancement strategies on LLADA and SDAR, achieving relative improvements of 20.4% on LLaDA1.5-8B and 16.0% on LLaDA-8B-Instruct. It notably surpasses similarly sized autoregressive models like Llama3.1-8B-Instruct.