Avaliação Transdomínio de Detecção de Vulnerabilidades Baseada em Transformers em Dados Abertos e Industriais

Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data

September 11, 2025

Autores: Moritz Mock, Thomas Forrer, Barbara Russo

cs.AI

Resumo

As soluções de aprendizado profundo para detecção de vulnerabilidades propostas em pesquisas acadêmicas nem sempre são acessíveis aos desenvolvedores, e sua aplicabilidade em ambientes industriais raramente é abordada. A transferência dessas tecnologias da academia para a indústria apresenta desafios relacionados à confiabilidade, sistemas legados, baixa literacia digital e a lacuna entre a expertise acadêmica e industrial. Especificamente para o aprendizado profundo, o desempenho e a integração em fluxos de trabalho existentes são preocupações adicionais. Neste trabalho, avaliamos primeiro o desempenho do CodeBERT na detecção de funções vulneráveis em software industrial e de código aberto. Analisamos sua generalização entre domínios quando ajustado em dados de código aberto e testado em dados industriais, e vice-versa, explorando também estratégias para lidar com o desequilíbrio de classes. Com base nesses resultados, desenvolvemos o AI-DO (Automatizando a Integração de Detecção de Vulnerabilidades para Operações de Desenvolvedores), um sistema de recomendação integrado ao CI/CD (Integração Contínua-Implantação Contínua) que utiliza o CodeBERT ajustado para detectar e localizar vulnerabilidades durante a revisão de código sem interromper os fluxos de trabalho. Por fim, avaliamos a utilidade percebida da ferramenta por meio de uma pesquisa com profissionais de TI da empresa. Nossos resultados mostram que modelos treinados em dados industriais detectam vulnerabilidades com precisão dentro do mesmo domínio, mas perdem desempenho em código aberto, enquanto um modelo de aprendizado profundo ajustado em dados abertos, com técnicas adequadas de subamostragem, melhora a detecção de vulnerabilidades.

English

Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.