オープンデータと産業データにおけるTransformerベースの脆弱性検出のクロスドメイン評価

Cross-Domain Evaluation of Transformer-Based Vulnerability Detection on Open & Industry Data

September 11, 2025

著者: Moritz Mock, Thomas Forrer, Barbara Russo

cs.AI

要旨

学術研究で提案された脆弱性検出のための深層学習ソリューションは、開発者が常にアクセスできるわけではなく、産業環境での適用性はほとんど検討されていない。このような技術を学術界から産業界に移行する際には、信頼性、レガシーシステム、デジタルリテラシーの不足、学術と産業の専門知識のギャップといった課題が存在する。特に深層学習においては、性能と既存のワークフローへの統合が追加的な懸念事項となる。本研究ではまず、産業用およびオープンソースソフトウェアにおける脆弱な関数の検出におけるCodeBERTの性能を評価する。オープンソースデータでファインチューニングし、産業データでテストする場合、およびその逆の場合のクロスドメイン汎化性能を分析し、クラス不均衡を扱うための戦略も探る。これらの結果に基づき、CI/CD（継続的インテグレーション・継続的デプロイメント）に統合された推奨システムであるAI-DO（Automating vulnerability detection Integration for Developers' Operations）を開発する。これは、ファインチューニングされたCodeBERTを使用して、コードレビュー中にワークフローを中断することなく脆弱性を検出・特定するものである。最後に、企業のIT専門家を対象とした調査を通じて、このツールの有用性を評価する。結果は、産業データで訓練されたモデルは同一ドメイン内で正確に脆弱性を検出するが、オープンソースコードでは性能が低下する一方で、適切なアンダーサンプリング技術を用いてオープンデータでファインチューニングされた深層学習モデルは、脆弱性検出を改善することを示している。

English

Deep learning solutions for vulnerability detection proposed in academic research are not always accessible to developers, and their applicability in industrial settings is rarely addressed. Transferring such technologies from academia to industry presents challenges related to trustworthiness, legacy systems, limited digital literacy, and the gap between academic and industrial expertise. For deep learning in particular, performance and integration into existing workflows are additional concerns. In this work, we first evaluate the performance of CodeBERT for detecting vulnerable functions in industrial and open-source software. We analyse its cross-domain generalisation when fine-tuned on open-source data and tested on industrial data, and vice versa, also exploring strategies for handling class imbalance. Based on these results, we develop AI-DO(Automating vulnerability detection Integration for Developers' Operations), a Continuous Integration-Continuous Deployment (CI/CD)-integrated recommender system that uses fine-tuned CodeBERT to detect and localise vulnerabilities during code review without disrupting workflows. Finally, we assess the tool's perceived usefulness through a survey with the company's IT professionals. Our results show that models trained on industrial data detect vulnerabilities accurately within the same domain but lose performance on open-source code, while a deep learner fine-tuned on open data, with appropriate undersampling techniques, improves the detection of vulnerabilities.