DLLM-Searcher: Anpassung von Diffusion Large Language Models für Suchagenten

papers.abstract

Kürzlich haben Diffusions-Großsprachmodelle (dLLMs) einzigartige Effizienzvorteile demonstriert, die durch ihren inhärent parallelen Decodierungsmechanismus und flexiblen Generierungsansatz ermöglicht werden. Unterdessen ist der praktische Einsatz von Suchagenten, trotz ihrer rasanten Entwicklung, durch eine grundlegende Einschränkung eingeschränkt, die als 1) Latenzproblem bezeichnet wird: Die serielle Ausführung von mehrstufigem Reasoning, Tool-Aufrufen und dem Warten auf Tool-Antworten innerhalb des ReAct-Agentenparadigmas verursacht eine erhebliche End-to-End-Latenz. Intuitiv können dLLMs ihre besonderen Stärken nutzen, um die operative Effizienz von Agenten unter dem ReAct-Paradigma zu optimieren. In der Praxis sehen sich bestehende dLLM-Basismodelle jedoch mit der 2) Fähigkeitsherausforderung für Agenten konfrontiert. Das bedeutet, dass existierende dLLMs bemerkenswert schwache Reasoning- und Tool-Aufruffähigkeiten aufweisen, was verhindert, dass diese Vorteile in der Praxis effektiv realisiert werden können. In diesem Artikel schlagen wir DLLM-Searcher vor, ein Optimierungsframework für dLLM-basierte Suchagenten. Um die Fähigkeitsherausforderung für Agenten zu lösen, entwerfen wir eine zweistufige Post-Training-Pipeline, die agentenbasiertes überwachtes Feintuning (Agentic SFT) und agentenbasierte varianzreduzierte Präferenzoptimierung (Agentic VRPO) umfasst, wodurch die Informationssuch- und Reasoning-Fähigkeiten des dLLM-Basismodells verbessert werden. Um das Latenzproblem zu mildern, nutzen wir den flexiblen Generierungsmechanismus von dLLMs und schlagen ein neuartiges Agentenparadigma namens Parallel-Reasoning and Acting (P-ReAct) vor. P-ReAct weist das Modell an, priorisiert Tool_Aufruf-Anweisungen zu decodieren, wodurch das Modell weiterdenken kann, während es auf die Rückmeldung des Tools wartet. Experimentelle Ergebnisse zeigen, dass DLLM-Searcher eine Leistung erzielt, die mit der主流er LLM-basierter Suchagenten vergleichbar ist, und dass P-ReAct eine Beschleunigung der Inferenz um etwa 15% bewirkt. Unser Code ist verfügbar unter https://anonymous.4open.science/r/DLLM-Searcher-553C.

English

Recently, Diffusion Large Language Models (dLLMs) have demonstrated unique efficiency advantages, enabled by their inherently parallel decoding mechanism and flexible generation paradigm. Meanwhile, despite the rapid advancement of Search Agents, their practical deployment is constrained by a fundamental limitation, termed as 1) Latency Challenge: the serial execution of multi-round reasoning, tool calling, and tool response waiting under the ReAct agent paradigm induces severe end-to-end latency. Intuitively, dLLMs can leverage their distinctive strengths to optimize the operational efficiency of agents under the ReAct agent paradigm. Practically, existing dLLM backbones face the 2) Agent Ability Challenge. That is, existing dLLMs exhibit remarkably weak reasoning and tool-calling capabilities, preventing these advantages from being effectively realized in practice. In this paper, we propose DLLM-Searcher, an optimization framework for dLLM-based Search Agents. To solve the Agent Ability Challenge, we design a two-stage post-training pipeline encompassing Agentic Supervised Fine-Tuning (Agentic SFT) and Agentic Variance-Reduced Preference Optimization Agentic VRPO, which enhances the backbone dLLM's information seeking and reasoning capabilities. To mitigate the Latency Challenge, we leverage the flexible generation mechanism of dLLMs and propose a novel agent paradigm termed Parallel-Reasoning and Acting P-ReAct. P-ReAct guides the model to prioritize decoding tool_call instructions, thereby allowing the model to keep thinking while waiting for the tool's return. Experimental results demonstrate that DLLM-Searcher achieves performance comparable to mainstream LLM-based search agents and P-ReAct delivers approximately 15% inference acceleration. Our code is available at https://anonymous.4open.science/r/DLLM-Searcher-553C

DLLM-Searcher: Anpassung von Diffusion Large Language Models für Suchagenten

DLLM-Searcher: Adapting Diffusion Large Language Model for Search Agents

papers.abstract

Support