Безопасная генерация кода с использованием онлайн-обучения с подкреплением и моделью вознаграждения за уязвимости

Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model

February 7, 2026

Авторы: Tianyi Wu, Mingzhe Du, Yue Liu, Chengran Yang, Terry Yue Zhuo, Jiaheng Zhang, See-Kiong Ng

cs.AI

Аннотация

Крупные языковые модели (LLM) все чаще используются в разработке программного обеспечения, однако их склонность генерировать небезопасный код остается серьезным препятствием для практического внедрения. Существующие методы согласования кода на безопасность часто страдают от парадокса функциональность–безопасность, улучшая безопасность ценой значительной деградации полезности. Мы предлагаем SecCoderX — фреймворк онлайн-обучения с подкреплением для генерации безопасного кода с сохранением функциональности. SecCoderX сначала объединяет обнаружение уязвимостей и генерацию безопасного кода, перепрофилируя зрелые ресурсы детектирования двумя способами: (i) синтез разнообразных, основанных на реальности задач по написанию кода, вызывающего уязвимости, для онлайн-rollouts в RL, и (ii) обучение основанной на рассуждениях модели вознаграждения за уязвимости, которая обеспечивает масштабируемый и надежный контроль безопасности. Вместе эти компоненты объединены в цикл онлайн-обучения с подкреплением для согласования кодогенерирующих LLM с целью генерации безопасного и функционального кода. Многочисленные эксперименты демонстрируют, что SecCoderX достигает передовых результатов, улучшая показатель эффективной безопасности (ESR) примерно на 10% по сравнению с несогласованными моделями, тогда как предыдущие методы часто ухудшают ESR на 14–54%. Мы публикуем наш код, набор данных и веса модели по адресу https://github.com/AndrewWTY/SecCoderX.

English

Large language models (LLMs) are increasingly used in software development, yet their tendency to generate insecure code remains a major barrier to real-world deployment. Existing secure code alignment methods often suffer from a functionality--security paradox, improving security at the cost of substantial utility degradation. We propose SecCoderX, an online reinforcement learning framework for functionality-preserving secure code generation. SecCoderX first bridges vulnerability detection and secure code generation by repurposing mature detection resources in two ways: (i) synthesizing diverse, reality-grounded vulnerability-inducing coding tasks for online RL rollouts, and (ii) training a reasoning-based vulnerability reward model that provides scalable and reliable security supervision. Together, these components are unified in an online RL loop to align code LLMs to generate secure and functional code. Extensive experiments demonstrate that SecCoderX achieves state-of-the-art performance, improving Effective Safety Rate (ESR) by approximately 10% over unaligned models, whereas prior methods often degrade ESR by 14-54%. We release our code, dataset and model checkpoints at https://github.com/AndrewWTY/SecCoderX.