Междоменная оценка обнаружения уязвимостей на основе трансформеров с использованием открытых и промышленных данных

Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data

September 11, 2025

Авторы: Moritz Mock, Thomas Forrer, Barbara Russo

cs.AI

Аннотация

Предложенные в академических исследованиях решения для обнаружения уязвимостей на основе глубокого обучения не всегда доступны разработчикам, и их применимость в промышленных условиях редко рассматривается. Перенос таких технологий из академической среды в промышленность сопряжен с проблемами, связанными с доверием, устаревшими системами, ограниченной цифровой грамотностью и разрывом между академическими и промышленными знаниями. В случае глубокого обучения дополнительными проблемами являются производительность и интеграция в существующие рабочие процессы. В данной работе мы сначала оцениваем производительность модели CodeBERT для обнаружения уязвимых функций в промышленном и открытом программном обеспечении. Мы анализируем её способность к обобщению между доменами при дообучении на данных из открытых источников и тестировании на промышленных данных, и наоборот, а также исследуем стратегии для работы с дисбалансом классов. На основе этих результатов мы разрабатываем AI-DO (Automating vulnerability detection Integration for Developers' Operations) — систему рекомендаций, интегрированную в процесс Continuous Integration-Continuous Deployment (CI/CD), которая использует дообученный CodeBERT для обнаружения и локализации уязвимостей во время проверки кода без нарушения рабочих процессов. Наконец, мы оцениваем воспринимаемую полезность инструмента с помощью опроса среди ИТ-специалистов компании. Наши результаты показывают, что модели, обученные на промышленных данных, точно обнаруживают уязвимости в пределах того же домена, но теряют производительность на открытом коде, в то время как модель глубокого обучения, дообученная на открытых данных с использованием подходящих методов уменьшения выборки, улучшает обнаружение уязвимостей.

English

Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.