Geração de Código Seguro via Aprendizado por Reforço Online com Modelo de Recompensa por Vulnerabilidade
Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model
February 7, 2026
Autores: Tianyi Wu, Mingzhe Du, Yue Liu, Chengran Yang, Terry Yue Zhuo, Jiaheng Zhang, See-Kiong Ng
cs.AI
Resumo
Os grandes modelos de linguagem (LLMs) são cada vez mais utilizados no desenvolvimento de software, mas a sua tendência para gerar código inseguro continua a ser uma grande barreira à implementação no mundo real. Os métodos existentes de alinhamento de código seguro sofrem frequentemente de um paradoxo funcionalidade-segurança, melhorando a segurança à custa de uma degradação substancial da utilidade. Propomos o SecCoderX, uma estrutura de aprendizagem por reforço online para a geração de código seguro que preserva a funcionalidade. O SecCoderX começa por estabelecer uma ponte entre a deteção de vulnerabilidades e a geração de código seguro, reutilizando recursos de deteção maduros de duas formas: (i) sintetizando tarefas de codificação diversificadas e fundamentadas na realidade que induzem vulnerabilidades para rollouts de RL online, e (ii) treinando um modelo de recompensa de vulnerabilidade baseado em raciocínio que fornece uma supervisão de segurança escalável e fiável. Em conjunto, estes componentes são unificados num ciclo de RL online para alinhar os LLMs de código de modo a gerarem código seguro e funcional. Experiências extensivas demonstram que o SecCoderX alcança um desempenho state-of-the-art, melhorando a Taxa de Segurança Efetiva (ESR) em aproximadamente 10% em relação a modelos não alinhados, enquanto os métodos anteriores degradam frequentemente a ESR em 14-54%. Disponibilizamos o nosso código, conjunto de dados e checkpoints do modelo em https://github.com/AndrewWTY/SecCoderX.
English
Large language models (LLMs) are increasingly used in software development, yet their tendency to generate insecure code remains a major barrier to real-world deployment. Existing secure code alignment methods often suffer from a functionality--security paradox, improving security at the cost of substantial utility degradation. We propose SecCoderX, an online reinforcement learning framework for functionality-preserving secure code generation. SecCoderX first bridges vulnerability detection and secure code generation by repurposing mature detection resources in two ways: (i) synthesizing diverse, reality-grounded vulnerability-inducing coding tasks for online RL rollouts, and (ii) training a reasoning-based vulnerability reward model that provides scalable and reliable security supervision. Together, these components are unified in an online RL loop to align code LLMs to generate secure and functional code. Extensive experiments demonstrate that SecCoderX achieves state-of-the-art performance, improving Effective Safety Rate (ESR) by approximately 10% over unaligned models, whereas prior methods often degrade ESR by 14-54%. We release our code, dataset and model checkpoints at https://github.com/AndrewWTY/SecCoderX.