LiteCoder-Terminal: Масштабирование долгосрочных терминальных сред для обучения языковых агентов

Аннотация

Освоение терминальных сред требует языковых агентов, способных к многошаговому планированию, выполнению на основе обратной связи и динамической адаптации состояния. Однако обучение таких агентов в настоящее время ограничено зависимостью от собранных внешних репозиториев, что ограничивает разнообразие доменов, управляемость среды и возможность целенаправленной работы над конкретными дефицитами способностей. Мы представляем LiteCoder-Terminal-Gen — конвейер синтеза с нулевыми зависимостями, который автономно генерирует исполняемые и проверяемые терминальные учебные среды непосредственно из спецификаций доменов. Используя эту структуру, мы создаем два крупномасштабных ресурса: LiteCoder-Terminal-SFT, включающий 11 255 экспертных траекторий в 10 доменах, и LiteCoder-Terminal-RL, содержащий 602 проверяемые среды для оптимизации предпочтений на уровне траекторий. Контролируемая донастройка моделей семейства Qwen на нашем наборе данных SFT дает агентов, значительно превосходящих исходные аналоги. Примечательно, что наш вариант с 32B достигает 29,06%, 18,54% и 34,00% pass@1 на Terminal Bench 1.0, 2.0 и Pro соответственно. Кроме того, применение Direct Multi-turn Preference Optimization (DMPO) к нашим средам RL дает дополнительный прирост производительности. Эти результаты систематически демонстрируют, что полностью синтетические, исполняемые среды предоставляют масштабируемый и проверяемый сигнал контроля для освоения сложных, реальных рабочих процессов командной строки.

English

Mastering terminal environments requires language agents capable of multi-step planning, feedback-grounded execution, and dynamic state adaptation. However, training such agents is currently bottlenecked by a reliance on scraped external repositories, which limits domain diversity, environment controllability, and the targeting of specific capability deficits. We introduce LiteCoder-Terminal-Gen, a zero-dependency synthesis pipeline that autonomously generates executable and verifiable terminal training environments directly from domain specifications. Using this framework, we construct two large-scale resources: LiteCoder-Terminal-SFT, comprising 11,255 expert trajectories across 10 domains, and LiteCoder-Terminal-RL, featuring 602 verifiable environments for trajectory-level preference optimization. Supervised fine-tuning of Qwen-family models on our SFT dataset yields agents that significantly outperform their base counterparts. Notably, our 32B variant achieves 29.06%, 18.54%, and 34.00% pass@1 on Terminal Bench 1.0, 2.0, and Pro, respectively. Furthermore, applying Direct Multi-turn Preference Optimization (DMPO) on our RL environments yields additional performance gains. These results systematically demonstrate that fully synthetic, executable environments offer a scalable and verifiable supervision signal for mastering complex, real-world command-line workflows.