PIPer: Einrichtung der Geräteumgebung durch Online Reinforcement Learning

PIPer: On-Device Environment Setup via Online Reinforcement Learning

September 29, 2025

papers.authors: Alexander Kovrigin, Aleksandra Eliseeva, Konstantin Grotov, Egor Bogomolov, Yaroslav Zharov

cs.AI

papers.abstract

Die Einrichtung der Umgebung – der Prozess der Konfiguration des Systems für die Arbeit mit einem spezifischen Softwareprojekt – stellt eine anhaltende Herausforderung in der Softwaretechnik (SE) dar. Automatisierte Methoden zur Umgebungseinrichtung könnten Entwickler unterstützen, indem sie vollständig konfigurierte Umgebungen für beliebige Repositorys ohne manuellen Aufwand bereitstellen. Dies hilft auch SE-Forschern, ausführungsbasierte Benchmarks zu skalieren. Aktuelle Studien zeigen jedoch, dass selbst modernste Large Language Models (LLMs) nur begrenzten Erfolg bei der Automatisierung dieser Aufgabe erzielen. Um diese Einschränkung zu überwinden, optimieren wir ein spezialisiertes Modell für die Umgebungseinrichtung. Wir kombinieren überwachtes Feintuning zur Generierung korrekter Bash-Skripte und Reinforcement Learning mit überprüfbaren Belohnungen (RLVR), um es an die Aufgabe der Umgebungseinrichtung anzupassen. Auf EnvBench-Python ermöglicht unsere Methode Qwen3-8B (ein Modell, das auf Consumer-Hardware läuft), eine Leistung auf Augenhöhe mit größeren Modellen – Qwen3-32B und GPT-4o – zu erzielen. Der Trainingscode und die Modell-Checkpoints sind online verfügbar: https://github.com/JetBrains-Research/PIPer.

English

Environment setup-the process of configuring the system to work with a specific software project-represents a persistent challenge in Software Engineering (SE). Automated environment setup methods could assist developers by providing fully configured environments for arbitrary repositories without manual effort. This also helps SE researchers to scale execution-based benchmarks. However, recent studies reveal that even state-of-the-art Large Language Models (LLMs) achieve limited success in automating this task. To address this limitation, we tune a specialized model for environment setup. We combine supervised fine-tuning for generating correct Bash scripts and Reinforcement Learning with Verifiable Rewards (RLVR) to adapt it to the task of environment setup. On EnvBench-Python, our method enables Qwen3-8B (a model runnable on consumer hardware) to perform on par with larger models-Qwen3-32B and GPT-4o. The training code and model checkpoints are available online: https://github.com/JetBrains-Research/PIPer.