EvoSyn: Generaliseerbare evolutionaire datasynthese voor verifieerbaar leren

EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning

October 20, 2025

Auteurs: He Du, Bowen Li, Aijun Yang, Siyang He, Qipeng Guo, Dacheng Tao

cs.AI

Samenvatting

Betrouwbare en verifieerbare data is een cruciale drijfveer geworden voor het vergroten van de capaciteiten van moderne taalmodelen, waardoor stabiele reinforcement learning met verifieerbare beloningen en effectieve distillatie mogelijk wordt, wat competentie overdraagt over wiskunde, programmeren en agentgerichte taken. Het construeren van generaliseerbare synthetische verifieerbare data blijft echter moeilijk vanwege hallucinatiegevoelige generatie en zwakke of triviale verificatie-artefacten die niet in staat zijn sterke van zwakke oplossingen te onderscheiden. Bestaande benaderingen vertrouwen vaak op taakspecifieke heuristieken of post-hoc filters die niet overdraagbaar zijn tussen domeinen en ontbreken een principiële, universele evaluator van verifieerbaarheid. In dit werk introduceren we een evolutionair, taakagnostisch, strategiegestuurd, uitvoerbaar controleerbaar data-syntheseframework dat, vanuit minimale seed-supervisie, gezamenlijk problemen, diverse kandidaatoplossingen en verificatie-artefacten synthetiseert, en iteratief strategieën ontdekt via een consistentiegebaseerde evaluator die overeenstemming afdwingt tussen door mensen geannoteerde en door strategie geïnduceerde controles. Deze pijplijn transformeert filtering in principiële synthese: het assembleert betrouwbaar samenhangende, verifieerbare trainingsinstanties en generaliseert zonder domeinspecifieke regels. Onze experimenten demonstreren de effectiviteit van de voorgestelde aanpak onder zowel RLVR- als modeldistillatie-trainingsparadigma's. De resultaten laten zien dat trainen met onze gesynthetiseerde data aanzienlijke verbeteringen oplevert op zowel de LiveCodeBench- als AgentBench-OS-taken, wat de robuuste generalisatie van ons framework benadrukt.

English

Reliable verifiable data has become a key driver of capability gains in modern language models, enabling stable reinforcement learning with verifiable rewards and effective distillation that transfers competence across math, coding, and agentic tasks. Yet constructing generalizable synthetic verifiable data remains difficult due to hallucination-prone generation, and weak or trivial verification artifacts that fail to separate strong from weak solutions. Existing approaches often rely on task-specific heuristics or post-hoc filters that do not transfer across domains and lack a principled, universal evaluator of verifiability. In this work, we introduce an evolutionary, task-agnostic, strategy-guided, executably-checkable data synthesis framework that, from minimal seed supervision, jointly synthesizes problems, diverse candidate solutions, and verification artifacts, and iteratively discovers strategies via a consistency-based evaluator that enforces agreement between human-annotated and strategy-induced checks. This pipeline upgrades filtering into principled synthesis: it reliably assembles coherent, verifiable training instances and generalizes without domain-specific rules. Our experiments demonstrate the effectiveness of the proposed approach under both RLVR and model distillation training paradigms. The results show that training with our synthesized data yields significant improvements on both the LiveCodeBench and AgentBench-OS tasks, highlighting the robust generalization of our framework.