DLLM-Searcher: Aanpassing van het Diffusion Large Language Model voor Zoekagenten
DLLM-Searcher: Adapting Diffusion Large Language Model for Search Agents
February 3, 2026
Auteurs: Jiahao Zhao, Shaoxuan Xu, Zhongxiang Sun, Fengqi Zhu, Jingyang Ou, Yuling Shi, Chongxuan Li, Xiao Zhang, Jun Xu
cs.AI
Samenvatting
Onlangs hebben Diffusion Large Language Models (dLLM's) unieke efficiëntievoordelen aangetoond, mogelijk gemaakt door hun inherent parallelle decodeermechanisme en flexibele generatieparadigma. Ondertussen wordt de praktische inzet van zoekagentschappen, ondanks hun snelle ontwikkeling, beperkt door een fundamentele uitdaging, namelijk: 1) De latentie-uitdaging: de seriële uitvoering van multi-round redenering, tool-aanroepingen en het wachten op tool-antwoorden onder het ReAct-agentparadigma veroorzaakt ernstige end-to-end latentie. Intuïtief gezien kunnen dLLM's hun onderscheidende sterke punten benutten om de operationele efficiëntie van agentschappen onder het ReAct-agentparadigma te optimaliseren. In de praktijk kampen bestaande dLLM-backbones echter met de 2) Agent-vaardigheidsuitdaging. Dat wil zeggen, bestaande dLLM's vertonen opmerkelijk zwakke redeneer- en tool-aanroepcapaciteiten, waardoor deze voordelen in de praktijk niet effectief gerealiseerd kunnen worden. In dit artikel stellen we DLLM-Searcher voor, een optimalisatieraamwerk voor op dLLM gebaseerde zoekagentschappen. Om de Agent-vaardigheidsuitdaging op te lossen, ontwerpen we een tweefasen post-training pipeline bestaande uit Agentic Supervised Fine-Tuning (Agentic SFT) en Agentic Variance-Reduced Preference Optimization (Agentic VRPO), waarmee de informatiezoek- en redeneercapaciteiten van de backbone dLLM worden verbeterd. Om de latentie-uitdaging te mitigeren, benutten we het flexibele generatiemechanisme van dLLM's en stellen we een nieuw agentparadigma voor, genaamd Parallel-Reasoning and Acting (P-ReAct). P-ReAct leidt het model ertoe om prioriteit te geven aan het decoderen van tool_aanroep-instructies, waardoor het model kan blijven nadenken terwijl het wacht op de terugkeer van de tool. Experimentele resultaten tonen aan dat DLLM-Searcher prestaties bereikt die vergelijkbaar zijn met mainstream op LLM gebaseerde zoekagentschappen en dat P-ReAct een inferentieversnelling van ongeveer 15% oplevert. Onze code is beschikbaar op https://anonymous.4open.science/r/DLLM-Searcher-553C.
English
Recently, Diffusion Large Language Models (dLLMs) have demonstrated unique efficiency advantages, enabled by their inherently parallel decoding mechanism and flexible generation paradigm. Meanwhile, despite the rapid advancement of Search Agents, their practical deployment is constrained by a fundamental limitation, termed as 1) Latency Challenge: the serial execution of multi-round reasoning, tool calling, and tool response waiting under the ReAct agent paradigm induces severe end-to-end latency. Intuitively, dLLMs can leverage their distinctive strengths to optimize the operational efficiency of agents under the ReAct agent paradigm. Practically, existing dLLM backbones face the 2) Agent Ability Challenge. That is, existing dLLMs exhibit remarkably weak reasoning and tool-calling capabilities, preventing these advantages from being effectively realized in practice. In this paper, we propose DLLM-Searcher, an optimization framework for dLLM-based Search Agents. To solve the Agent Ability Challenge, we design a two-stage post-training pipeline encompassing Agentic Supervised Fine-Tuning (Agentic SFT) and Agentic Variance-Reduced Preference Optimization Agentic VRPO, which enhances the backbone dLLM's information seeking and reasoning capabilities. To mitigate the Latency Challenge, we leverage the flexible generation mechanism of dLLMs and propose a novel agent paradigm termed Parallel-Reasoning and Acting P-ReAct. P-ReAct guides the model to prioritize decoding tool_call instructions, thereby allowing the model to keep thinking while waiting for the tool's return. Experimental results demonstrate that DLLM-Searcher achieves performance comparable to mainstream LLM-based search agents and P-ReAct delivers approximately 15% inference acceleration. Our code is available at https://anonymous.4open.science/r/DLLM-Searcher-553C