DiffTester: Beschleunigung der Generierung von Unit-Tests für Diffusion LLMs durch repetitive Muster

DiffTester: Accelerating Unit Test Generation for Diffusion LLMs via Repetitive Pattern

September 29, 2025

papers.authors: Lekang Yang, Yuetong Liu, Yitong Zhang, Jia Li

cs.AI

papers.abstract

Die Softwareentwicklung ist stark auf umfangreiche Unit-Tests angewiesen, was die Effizienz der automatisierten Unit-Test-Generierung (UTG) besonders wichtig macht. Die meisten bestehenden LLMs (Large Language Models) generieren jedoch Testfälle Token für Token in jedem Vorwärtsdurchlauf, was zu einer ineffizienten UTG führt. Kürzlich sind diffusionsbasierte LLMs (dLLMs) aufgetaucht, die vielversprechende parallele Generierungsfähigkeiten bieten und ein großes Potenzial für eine effiziente UTG zeigen. Trotz dieses Vorteils ist ihre Anwendung in der UTG durch einen klaren Kompromiss zwischen Effizienz und Testqualität eingeschränkt, da die Erhöhung der Anzahl der in jedem Schritt generierten Token oft zu einem starken Qualitätsabfall der Testfälle führt. Um diese Einschränkung zu überwinden, stellen wir DiffTester vor, ein Beschleunigungsframework, das speziell für dLLMs in der UTG entwickelt wurde. Die zentrale Idee von DiffTester ist, dass Unit-Tests, die dieselbe Fokusmethode anvisieren, oft wiederkehrende strukturelle Muster aufweisen. Durch die dynamische Identifikation dieser gemeinsamen Muster mittels Abstract-Syntax-Tree-Analyse während der Generierung erhöht DiffTester adaptiv die Anzahl der in jedem Schritt produzierten Token, ohne die Qualität der Ausgabe zu beeinträchtigen. Um eine umfassende Bewertung zu ermöglichen, erweitern wir das ursprüngliche TestEval-Benchmark, das auf Python beschränkt war, durch die Einführung zusätzlicher Programmiersprachen wie Java und C++. Umfangreiche Experimente auf drei Benchmarks mit zwei repräsentativen Modellen zeigen, dass DiffTester eine signifikante Beschleunigung liefert, während die Testabdeckung erhalten bleibt. Darüber hinaus generalisiert DiffTester gut über verschiedene dLLMs und Programmiersprachen hinweg und bietet eine praktische und skalierbare Lösung für eine effiziente UTG in der Softwareentwicklung. Code und Daten sind öffentlich unter https://github.com/wellbeingyang/DLM4UTG-open verfügbar.

English

Software development relies heavily on extensive unit testing, which makes the efficiency of automated Unit Test Generation (UTG) particularly important. However, most existing LLMs generate test cases one token at a time in each forward pass, which leads to inefficient UTG. Recently, diffusion LLMs (dLLMs) have emerged, offering promising parallel generation capabilities and showing strong potential for efficient UTG. Despite this advantage, their application to UTG is still constrained by a clear trade-off between efficiency and test quality, since increasing the number of tokens generated in each step often causes a sharp decline in the quality of test cases. To overcome this limitation, we present DiffTester, an acceleration framework specifically tailored for dLLMs in UTG. The key idea of DiffTester is that unit tests targeting the same focal method often share repetitive structural patterns. By dynamically identifying these common patterns through abstract syntax tree analysis during generation, DiffTester adaptively increases the number of tokens produced at each step without compromising the quality of the output. To enable comprehensive evaluation, we extend the original TestEval benchmark, which was limited to Python, by introducing additional programming languages including Java and C++. Extensive experiments on three benchmarks with two representative models show that DiffTester delivers significant acceleration while preserving test coverage. Moreover, DiffTester generalizes well across different dLLMs and programming languages, providing a practical and scalable solution for efficient UTG in software development. Code and data are publicly available at https://github.com/wellbeingyang/DLM4UTG-open .