Evaluación Transdominio de la Detección de Vulnerabilidades Basada en Transformadores en Datos Abiertos e Industriales

Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data

September 11, 2025

Autores: Moritz Mock, Thomas Forrer, Barbara Russo

cs.AI

Resumen

Las soluciones de aprendizaje profundo para la detección de vulnerabilidades propuestas en la investigación académica no siempre son accesibles para los desarrolladores, y su aplicabilidad en entornos industriales rara vez se aborda. La transferencia de estas tecnologías desde la academia a la industria presenta desafíos relacionados con la confiabilidad, los sistemas heredados, la alfabetización digital limitada y la brecha entre la experiencia académica e industrial. En particular, para el aprendizaje profundo, el rendimiento y la integración en los flujos de trabajo existentes son preocupaciones adicionales. En este trabajo, primero evaluamos el rendimiento de CodeBERT para detectar funciones vulnerables en software industrial y de código abierto. Analizamos su generalización entre dominios cuando se ajusta con datos de código abierto y se prueba con datos industriales, y viceversa, también explorando estrategias para manejar el desequilibrio de clases. Con base en estos resultados, desarrollamos AI-DO (Automatización de la Integración de Detección de Vulnerabilidades para las Operaciones de los Desarrolladores), un sistema de recomendación integrado en la Integración Continua-Despliegue Continuo (CI/CD) que utiliza CodeBERT ajustado para detectar y localizar vulnerabilidades durante la revisión de código sin interrumpir los flujos de trabajo. Finalmente, evaluamos la utilidad percibida de la herramienta mediante una encuesta con profesionales de TI de la empresa. Nuestros resultados muestran que los modelos entrenados con datos industriales detectan vulnerabilidades con precisión dentro del mismo dominio, pero pierden rendimiento en código abierto, mientras que un modelo de aprendizaje profundo ajustado con datos abiertos, utilizando técnicas adecuadas de submuestreo, mejora la detección de vulnerabilidades.

English

Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.