Cross-domein Evaluatie van Transformer-gebaseerde Kwetsbaarheidsdetectie op Open en Industriële Data

Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data

September 11, 2025

Auteurs: Moritz Mock, Thomas Forrer, Barbara Russo

cs.AI

Samenvatting

Deep learning-oplossingen voor kwetsbaarheidsdetectie die in academisch onderzoek worden voorgesteld, zijn niet altijd toegankelijk voor ontwikkelaars, en hun toepasbaarheid in industriële omgevingen wordt zelden behandeld. Het overbrengen van dergelijke technologieën van de academische wereld naar de industrie brengt uitdagingen met zich mee die verband houden met betrouwbaarheid, verouderde systemen, beperkte digitale geletterdheid en de kloof tussen academische en industriële expertise. Voor deep learning in het bijzonder zijn prestaties en integratie in bestaande workflows bijkomende zorgen. In dit werk evalueren we eerst de prestaties van CodeBERT voor het detecteren van kwetsbare functies in industriële en open-source software. We analyseren de cross-domein generalisatie wanneer het wordt afgestemd op open-source data en getest op industriële data, en vice versa, waarbij we ook strategieën onderzoeken om klasse-onbalans aan te pakken. Op basis van deze resultaten ontwikkelen we AI-DO (Automatisering van kwetsbaarheidsdetectie Integratie voor Ontwikkelaarsoperaties), een Continuous Integration-Continuous Deployment (CI/CD)-geïntegreerd aanbevelingssysteem dat gebruikmaakt van afgestemde CodeBERT om kwetsbaarheden te detecteren en te lokaliseren tijdens code review zonder workflows te verstoren. Ten slotte beoordelen we de waargenomen bruikbaarheid van de tool via een enquête onder IT-professionals van het bedrijf. Onze resultaten tonen aan dat modellen die getraind zijn op industriële data kwetsbaarheden nauwkeurig detecteren binnen hetzelfde domein, maar prestaties verliezen op open-source code, terwijl een deep learning-model dat is afgestemd op open data, met geschikte undersampling-technieken, de detectie van kwetsbaarheden verbetert.

English

Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.