PIPer: Настройка окружения на устройстве с использованием онлайн-обучения с подкреплением
PIPer: On-Device Environment Setup via Online Reinforcement Learning
September 29, 2025
Авторы: Alexander Kovrigin, Aleksandra Eliseeva, Konstantin Grotov, Egor Bogomolov, Yaroslav Zharov
cs.AI
Аннотация
Настройка окружения — процесс конфигурации системы для работы с конкретным программным проектом — представляет собой постоянную проблему в области разработки программного обеспечения (ПО). Автоматизированные методы настройки окружения могли бы помочь разработчикам, предоставляя полностью настроенные окружения для произвольных репозиториев без необходимости ручного вмешательства. Это также помогает исследователям в области ПО масштабировать бенчмарки, основанные на выполнении кода. Однако последние исследования показывают, что даже современные крупные языковые модели (LLM) достигают ограниченного успеха в автоматизации этой задачи. Чтобы устранить это ограничение, мы настраиваем специализированную модель для настройки окружения. Мы сочетаем контролируемое тонкое обучение для генерации корректных Bash-скриптов и обучение с подкреплением с проверяемыми наградами (RLVR), чтобы адаптировать модель к задаче настройки окружения. На тестовом наборе EnvBench-Python наш метод позволяет модели Qwen3-8B (модели, работающей на потребительском оборудовании) показывать результаты на уровне более крупных моделей — Qwen3-32B и GPT-4o. Код обучения и контрольные точки модели доступны онлайн: https://github.com/JetBrains-Research/PIPer.
English
Environment setup-the process of configuring the system to work with a
specific software project-represents a persistent challenge in Software
Engineering (SE). Automated environment setup methods could assist developers
by providing fully configured environments for arbitrary repositories without
manual effort. This also helps SE researchers to scale execution-based
benchmarks. However, recent studies reveal that even state-of-the-art Large
Language Models (LLMs) achieve limited success in automating this task. To
address this limitation, we tune a specialized model for environment setup. We
combine supervised fine-tuning for generating correct Bash scripts and
Reinforcement Learning with Verifiable Rewards (RLVR) to adapt it to the task
of environment setup. On EnvBench-Python, our method enables Qwen3-8B (a model
runnable on consumer hardware) to perform on par with larger models-Qwen3-32B
and GPT-4o. The training code and model checkpoints are available online:
https://github.com/JetBrains-Research/PIPer.