Treinando Modelos de Linguagem para Gerar Código de Qualidade com Feedback de Análise de Programas

Training Language Models to Generate Quality Code with Program Analysis Feedback

May 28, 2025

Autores: Feng Yao, Zilong Wang, Liyuan Liu, Junxia Cui, Li Zhong, Xiaohan Fu, Haohui Mai, Vish Krishnan, Jianfeng Gao, Jingbo Shang

cs.AI

Resumo

A geração de código com modelos de linguagem de grande escala (LLMs), frequentemente chamada de "vibe coding", está sendo cada vez mais adotada em produção, mas falha em garantir a qualidade do código, especialmente em aspectos de segurança (por exemplo, vulnerabilidades de injeção SQL) e de manutenção (por exemplo, anotações de tipo ausentes). Métodos existentes, como ajuste fino supervisionado e pós-processamento baseado em regras, dependem de anotações intensivas em mão de obra ou heurísticas frágeis, limitando sua escalabilidade e eficácia. Propomos o REAL, um framework de aprendizado por reforço que incentiva LLMs a gerar código de qualidade para produção usando feedback guiado por análise de programas. Especificamente, o REAL integra dois sinais automatizados: (1) análise de programas que detecta defeitos de segurança ou manutenção e (2) testes unitários que garantem a correção funcional. Diferente de trabalhos anteriores, nosso framework é independente de prompts e livre de referências, permitindo supervisão escalável sem intervenção manual. Experimentos em múltiplos conjuntos de dados e escalas de modelos demonstram que o REAL supera métodos state-of-the-art em avaliações simultâneas de funcionalidade e qualidade de código. Nosso trabalho preenche a lacuna entre prototipagem rápida e código pronto para produção, permitindo que LLMs entreguem tanto velocidade quanto qualidade.

English

Code generation with large language models (LLMs), often termed vibe coding, is increasingly adopted in production but fails to ensure code quality, particularly in security (e.g., SQL injection vulnerabilities) and maintainability (e.g., missing type annotations). Existing methods, such as supervised fine-tuning and rule-based post-processing, rely on labor-intensive annotations or brittle heuristics, limiting their scalability and effectiveness. We propose REAL, a reinforcement learning framework that incentivizes LLMs to generate production-quality code using program analysis-guided feedback. Specifically, REAL integrates two automated signals: (1) program analysis detecting security or maintainability defects and (2) unit tests ensuring functional correctness. Unlike prior work, our framework is prompt-agnostic and reference-free, enabling scalable supervision without manual intervention. Experiments across multiple datasets and model scales demonstrate that REAL outperforms state-of-the-art methods in simultaneous assessments of functionality and code quality. Our work bridges the gap between rapid prototyping and production-ready code, enabling LLMs to deliver both speed and quality.