EvoSyn: Универсальный эволюционный синтез данных для проверяемого обучения

EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning

October 20, 2025

Авторы: He Du, Bowen Li, Aijun Yang, Siyang He, Qipeng Guo, Dacheng Tao

cs.AI

Аннотация

Надежные и проверяемые данные стали ключевым фактором повышения возможностей современных языковых моделей, обеспечивая стабильное обучение с подкреплением с проверяемыми вознаграждениями и эффективную дистилляцию, которая переносит компетенции в области математики, программирования и агентных задач. Однако создание обобщаемых синтетических проверяемых данных остается сложной задачей из-за склонности к генерации галлюцинаций и слабых или тривиальных артефактов проверки, которые не позволяют отделить сильные решения от слабых. Существующие подходы часто полагаются на специфические для задачи эвристики или постобработку, которые не переносятся между доменами и не имеют принципиального, универсального механизма оценки проверяемости. В данной работе мы представляем эволюционный, независимый от задач, стратегически направленный и исполняемо проверяемый фреймворк синтеза данных, который, начиная с минимального начального контроля, совместно синтезирует задачи, разнообразные кандидаты на решения и артефакты проверки, а также итеративно обнаруживает стратегии с помощью основанного на согласованности оценщика, который обеспечивает соответствие между аннотациями человека и проверками, индуцированными стратегиями. Этот процесс превращает фильтрацию в принципиальный синтез: он надежно собирает согласованные, проверяемые обучающие примеры и обобщает без использования специфических для домена правил. Наши эксперименты демонстрируют эффективность предложенного подхода как в рамках обучения с подкреплением с проверяемыми вознаграждениями (RLVR), так и в парадигмах дистилляции моделей. Результаты показывают, что обучение на наших синтезированных данных приводит к значительным улучшениям в задачах LiveCodeBench и AgentBench-OS, подчеркивая устойчивую обобщаемость нашего фреймворка.

English

Reliable verifiable data has become a key driver of capability gains in modern language models, enabling stable reinforcement learning with verifiable rewards and effective distillation that transfers competence across math, coding, and agentic tasks. Yet constructing generalizable synthetic verifiable data remains difficult due to hallucination-prone generation, and weak or trivial verification artifacts that fail to separate strong from weak solutions. Existing approaches often rely on task-specific heuristics or post-hoc filters that do not transfer across domains and lack a principled, universal evaluator of verifiability. In this work, we introduce an evolutionary, task-agnostic, strategy-guided, executably-checkable data synthesis framework that, from minimal seed supervision, jointly synthesizes problems, diverse candidate solutions, and verification artifacts, and iteratively discovers strategies via a consistency-based evaluator that enforces agreement between human-annotated and strategy-induced checks. This pipeline upgrades filtering into principled synthesis: it reliably assembles coherent, verifiable training instances and generalizes without domain-specific rules. Our experiments demonstrate the effectiveness of the proposed approach under both RLVR and model distillation training paradigms. The results show that training with our synthesized data yields significant improvements on both the LiveCodeBench and AgentBench-OS tasks, highlighting the robust generalization of our framework.