EvoSyn: Sintesi Evolutiva Generalizzabile dei Dati per Apprendimento Verificabile

EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning

October 20, 2025

Autori: He Du, Bowen Li, Aijun Yang, Siyang He, Qipeng Guo, Dacheng Tao

cs.AI

Abstract

I dati affidabili e verificabili sono diventati un fattore chiave per il miglioramento delle capacità nei moderni modelli linguistici, consentendo un apprendimento per rinforzo stabile con ricompense verificabili e una distillazione efficace che trasferisce competenze attraverso compiti di matematica, programmazione e agenti autonomi. Tuttavia, la costruzione di dati sintetici verificabili e generalizzabili rimane difficile a causa della generazione soggetta a allucinazioni e di artefatti di verifica deboli o banali che non riescono a distinguere soluzioni forti da quelle deboli. Gli approcci esistenti spesso si basano su euristiche specifiche per il compito o filtri post-hoc che non si trasferiscono tra domini e mancano di un valutatore universale e principiato della verificabilità. In questo lavoro, introduciamo un framework di sintesi dei dati evolutivo, agnostico rispetto al compito, guidato da strategie e verificabile eseguibile che, partendo da una supervisione iniziale minima, sintetizza congiuntamente problemi, soluzioni candidate diversificate e artefatti di verifica, e scopre iterativamente strategie attraverso un valutatore basato sulla coerenza che impone un accordo tra controlli annotati dall'uomo e indotti dalla strategia. Questa pipeline trasforma il filtraggio in una sintesi principiata: assembla in modo affidabile istanze di addestramento coerenti e verificabili e generalizza senza regole specifiche per il dominio. I nostri esperimenti dimostrano l'efficacia dell'approccio proposto sia sotto il paradigma di addestramento RLVR che di distillazione del modello. I risultati mostrano che l'addestramento con i nostri dati sintetizzati produce miglioramenti significativi sia nei compiti di LiveCodeBench che di AgentBench-OS, evidenziando la robusta generalizzazione del nostro framework.

English

Reliable verifiable data has become a key driver of capability gains in modern language models, enabling stable reinforcement learning with verifiable rewards and effective distillation that transfers competence across math, coding, and agentic tasks. Yet constructing generalizable synthetic verifiable data remains difficult due to hallucination-prone generation, and weak or trivial verification artifacts that fail to separate strong from weak solutions. Existing approaches often rely on task-specific heuristics or post-hoc filters that do not transfer across domains and lack a principled, universal evaluator of verifiability. In this work, we introduce an evolutionary, task-agnostic, strategy-guided, executably-checkable data synthesis framework that, from minimal seed supervision, jointly synthesizes problems, diverse candidate solutions, and verification artifacts, and iteratively discovers strategies via a consistency-based evaluator that enforces agreement between human-annotated and strategy-induced checks. This pipeline upgrades filtering into principled synthesis: it reliably assembles coherent, verifiable training instances and generalizes without domain-specific rules. Our experiments demonstrate the effectiveness of the proposed approach under both RLVR and model distillation training paradigms. The results show that training with our synthesized data yields significant improvements on both the LiveCodeBench and AgentBench-OS tasks, highlighting the robust generalization of our framework.