Évaluation interdomaine de la détection de vulnérabilités basée sur les Transformers sur des données ouvertes et industrielles

Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data

September 11, 2025

papers.authors: Moritz Mock, Thomas Forrer, Barbara Russo

cs.AI

papers.abstract

Les solutions d'apprentissage profond pour la détection de vulnérabilités proposées dans la recherche académique ne sont pas toujours accessibles aux développeurs, et leur applicabilité dans des contextes industriels est rarement abordée. Le transfert de ces technologies de l'académie vers l'industrie présente des défis liés à la fiabilité, aux systèmes hérités, à la faible littératie numérique et à l'écart entre les expertises académiques et industrielles. Pour l'apprentissage profond en particulier, les performances et l'intégration dans les flux de travail existants constituent des préoccupations supplémentaires. Dans ce travail, nous évaluons d'abord les performances de CodeBERT pour la détection de fonctions vulnérables dans des logiciels industriels et open source. Nous analysons sa généralisation inter-domaines lorsqu'il est affiné sur des données open source et testé sur des données industrielles, et vice versa, en explorant également des stratégies pour gérer le déséquilibre des classes. Sur la base de ces résultats, nous développons AI-DO (Automatisation de l'intégration de la détection de vulnérabilités pour les opérations des développeurs), un système de recommandation intégré à l'intégration continue et au déploiement continu (CI/CD) qui utilise CodeBERT affiné pour détecter et localiser les vulnérabilités lors de la revue de code sans perturber les flux de travail. Enfin, nous évaluons l'utilité perçue de l'outil à travers une enquête auprès des professionnels de l'informatique de l'entreprise. Nos résultats montrent que les modèles entraînés sur des données industrielles détectent avec précision les vulnérabilités dans le même domaine mais perdent en performance sur le code open source, tandis qu'un modèle d'apprentissage profond affiné sur des données open source, avec des techniques d'échantillonnage appropriées, améliore la détection des vulnérabilités.

English

Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.