PIPer: Configuração do Ambiente no Dispositivo via Aprendizado por Reforço Online

PIPer: On-Device Environment Setup via Online Reinforcement Learning

September 29, 2025

Autores: Alexander Kovrigin, Aleksandra Eliseeva, Konstantin Grotov, Egor Bogomolov, Yaroslav Zharov

cs.AI

Resumo

A configuração do ambiente - o processo de configurar o sistema para funcionar com um projeto de software específico - representa um desafio persistente na Engenharia de Software (ES). Métodos automatizados de configuração de ambiente poderiam auxiliar desenvolvedores ao fornecer ambientes totalmente configurados para repositórios arbitrários sem esforço manual. Isso também ajuda pesquisadores de ES a escalar benchmarks baseados em execução. No entanto, estudos recentes revelam que mesmo os modelos de linguagem de última geração (LLMs) obtêm sucesso limitado na automação dessa tarefa. Para abordar essa limitação, ajustamos um modelo especializado para configuração de ambiente. Combinamos fine-tuning supervisionado para gerar scripts Bash corretos e Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para adaptá-lo à tarefa de configuração de ambiente. No EnvBench-Python, nosso método permite que o Qwen3-8B (um modelo executável em hardware de consumo) tenha desempenho equivalente a modelos maiores - Qwen3-32B e GPT-4o. O código de treinamento e os checkpoints do modelo estão disponíveis online: https://github.com/JetBrains-Research/PIPer.

English

Environment setup-the process of configuring the system to work with a specific software project-represents a persistent challenge in Software Engineering (SE). Automated environment setup methods could assist developers by providing fully configured environments for arbitrary repositories without manual effort. This also helps SE researchers to scale execution-based benchmarks. However, recent studies reveal that even state-of-the-art Large Language Models (LLMs) achieve limited success in automating this task. To address this limitation, we tune a specialized model for environment setup. We combine supervised fine-tuning for generating correct Bash scripts and Reinforcement Learning with Verifiable Rewards (RLVR) to adapt it to the task of environment setup. On EnvBench-Python, our method enables Qwen3-8B (a model runnable on consumer hardware) to perform on par with larger models-Qwen3-32B and GPT-4o. The training code and model checkpoints are available online: https://github.com/JetBrains-Research/PIPer.