EvoSyn: Generalisierbare evolutionäre Datensynthese für verifizierbares Lernen

EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning

October 20, 2025

papers.authors: He Du, Bowen Li, Aijun Yang, Siyang He, Qipeng Guo, Dacheng Tao

cs.AI

papers.abstract

Zuverlässige und überprüfbare Daten sind zu einem zentralen Treiber von Fähigkeitssteigerungen in modernen Sprachmodellen geworden, wodurch stabiles bestärkendes Lernen mit überprüfbaren Belohnungen und effektive Destillation ermöglicht werden, die Kompetenzen über Mathematik, Programmierung und agentenbasierte Aufgaben hinweg transferieren. Dennoch bleibt die Konstruktion von generalisierbaren synthetischen, überprüfbaren Daten aufgrund von halluzinationsanfälliger Generierung sowie schwachen oder trivialen Verifikationsartefakten, die starke von schwachen Lösungen nicht trennen können, schwierig. Bestehende Ansätze stützen sich oft auf aufgabenspezifische Heuristiken oder nachträgliche Filter, die nicht domänenübergreifend übertragbar sind und einen prinzipiellen, universellen Bewerter der Überprüfbarkeit vermissen lassen. In dieser Arbeit führen wir einen evolutionären, aufgabenagnostischen, strategiegeleiteten und ausführbar überprüfbaren Daten-Synthese-Rahmen ein, der aus minimaler Startüberwachung Probleme, diverse Kandidatenlösungen und Verifikationsartefakte gemeinsam synthetisiert und Strategien iterativ durch einen konsistenzbasierten Bewerter entdeckt, der Übereinstimmung zwischen menschlich annotierten und strategieinduzierten Prüfungen erzwingt. Diese Pipeline wandelt Filterung in eine prinzipielle Synthese um: Sie stellt zuverlässig kohärente, überprüfbare Trainingsinstanzen zusammen und generalisiert ohne domänenspezifische Regeln. Unsere Experimente demonstrieren die Wirksamkeit des vorgeschlagenen Ansatzes sowohl unter RLVR- als auch Modell-Destillations-Trainingsparadigmen. Die Ergebnisse zeigen, dass das Training mit unseren synthetisierten Daten signifikante Verbesserungen bei den Aufgaben von LiveCodeBench und AgentBench-OS erzielt, was die robuste Generalisierung unseres Rahmens unterstreicht.

English

Reliable verifiable data has become a key driver of capability gains in modern language models, enabling stable reinforcement learning with verifiable rewards and effective distillation that transfers competence across math, coding, and agentic tasks. Yet constructing generalizable synthetic verifiable data remains difficult due to hallucination-prone generation, and weak or trivial verification artifacts that fail to separate strong from weak solutions. Existing approaches often rely on task-specific heuristics or post-hoc filters that do not transfer across domains and lack a principled, universal evaluator of verifiability. In this work, we introduce an evolutionary, task-agnostic, strategy-guided, executably-checkable data synthesis framework that, from minimal seed supervision, jointly synthesizes problems, diverse candidate solutions, and verification artifacts, and iteratively discovers strategies via a consistency-based evaluator that enforces agreement between human-annotated and strategy-induced checks. This pipeline upgrades filtering into principled synthesis: it reliably assembles coherent, verifiable training instances and generalizes without domain-specific rules. Our experiments demonstrate the effectiveness of the proposed approach under both RLVR and model distillation training paradigms. The results show that training with our synthesized data yields significant improvements on both the LiveCodeBench and AgentBench-OS tasks, highlighting the robust generalization of our framework.