Cross-Domain-Evaluierung von Transformer-basierten Schwachstellenerkennungsverfahren auf offenen und industriellen Daten

Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data

September 11, 2025

papers.authors: Moritz Mock, Thomas Forrer, Barbara Russo

cs.AI

papers.abstract

Deep-Learning-Lösungen zur Schwachstellenerkennung, die in der akademischen Forschung vorgeschlagen werden, sind für Entwickler nicht immer zugänglich, und ihre Anwendbarkeit in industriellen Umgebungen wird selten thematisiert. Die Übertragung solcher Technologien aus der Wissenschaft in die Industrie birgt Herausforderungen in Bezug auf Vertrauenswürdigkeit, Altsysteme, begrenzte digitale Kompetenzen und die Kluft zwischen akademischem und industriellem Fachwissen. Insbesondere beim Deep Learning sind Leistungsfähigkeit und Integration in bestehende Arbeitsabläufe weitere Bedenken. In dieser Arbeit evaluieren wir zunächst die Leistung von CodeBERT zur Erkennung von anfälligen Funktionen in industrieller und Open-Source-Software. Wir analysieren seine domänenübergreifende Generalisierungsfähigkeit, wenn es auf Open-Source-Daten feinabgestimmt und auf industrielle Daten getestet wird, und umgekehrt, wobei wir auch Strategien zur Handhabung von Klassenungleichgewichten untersuchen. Basierend auf diesen Ergebnissen entwickeln wir AI-DO (Automatisierung der Schwachstellenerkennungsintegration für Entwickleroperationen), ein Continuous-Integration-Continuous-Deployment (CI/CD)-integriertes Empfehlungssystem, das feinabgestimmtes CodeBERT verwendet, um Schwachstellen während des Code-Reviews zu erkennen und zu lokalisieren, ohne Arbeitsabläufe zu unterbrechen. Schließlich bewerten wir die wahrgenommene Nützlichkeit des Tools durch eine Umfrage mit IT-Fachkräften des Unternehmens. Unsere Ergebnisse zeigen, dass Modelle, die auf industriellen Daten trainiert wurden, Schwachstellen innerhalb derselben Domäne genau erkennen, jedoch an Leistung bei Open-Source-Code verlieren, während ein Deep-Learning-Modell, das auf Open-Daten feinabgestimmt ist und geeignete Unterabtastungstechniken verwendet, die Erkennung von Schwachstellen verbessert.

English

Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.