Valutazione Cross-Dominio del Rilevamento delle Vulnerabilità Basato su Transformer su Dati Aperti e Industriali

Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data

September 11, 2025

Autori: Moritz Mock, Thomas Forrer, Barbara Russo

cs.AI

Abstract

Le soluzioni di deep learning per il rilevamento delle vulnerabilità proposte nella ricerca accademica non sono sempre accessibili agli sviluppatori, e la loro applicabilità in contesti industriali viene raramente affrontata. Il trasferimento di tali tecnologie dal mondo accademico all'industria presenta sfide legate all'affidabilità, ai sistemi legacy, alla limitata alfabetizzazione digitale e al divario tra competenze accademiche e industriali. Per il deep learning in particolare, le prestazioni e l'integrazione nei flussi di lavoro esistenti rappresentano ulteriori preoccupazioni. In questo lavoro, valutiamo innanzitutto le prestazioni di CodeBERT nel rilevare funzioni vulnerabili in software industriale e open-source. Analizziamo la sua generalizzazione cross-domain quando viene addestrato su dati open-source e testato su dati industriali, e viceversa, esplorando anche strategie per gestire lo squilibrio delle classi. Sulla base di questi risultati, sviluppiamo AI-DO (Automating vulnerability detection Integration for Developers' Operations), un sistema di raccomandazione integrato in Continuous Integration-Continuous Deployment (CI/CD) che utilizza CodeBERT addestrato per rilevare e localizzare le vulnerabilità durante la revisione del codice senza interrompere i flussi di lavoro. Infine, valutiamo l'utilità percepita dello strumento attraverso un sondaggio con i professionisti IT dell'azienda. I nostri risultati mostrano che i modelli addestrati su dati industriali rilevano accuratamente le vulnerabilità all'interno dello stesso dominio, ma perdono efficacia sul codice open-source, mentre un modello di deep learning addestrato su dati open, con appropriate tecniche di undersampling, migliora il rilevamento delle vulnerabilità.

English

Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.