EvoSyn: Síntesis Evolutiva de Datos Generalizable para Aprendizaje Verificable

EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning

October 20, 2025

Autores: He Du, Bowen Li, Aijun Yang, Siyang He, Qipeng Guo, Dacheng Tao

cs.AI

Resumen

Los datos verificables y confiables se han convertido en un factor clave para el avance de las capacidades de los modelos de lenguaje modernos, permitiendo un aprendizaje por refuerzo estable con recompensas verificables y una destilación efectiva que transfiere competencias en tareas de matemáticas, programación y agentes autónomos. Sin embargo, la construcción de datos sintéticos verificables y generalizables sigue siendo un desafío debido a la generación propensa a la alucinación y a los artefactos de verificación débiles o triviales que no logran distinguir soluciones sólidas de las débiles. Los enfoques existentes suelen depender de heurísticas específicas para cada tarea o filtros post-hoc que no se transfieren entre dominios y carecen de un evaluador universal y fundamentado de la verificabilidad. En este trabajo, presentamos un marco de síntesis de datos evolutivo, independiente de la tarea, guiado por estrategias y verificable mediante ejecución que, a partir de una supervisión mínima inicial, sintetiza conjuntamente problemas, soluciones candidatas diversas y artefactos de verificación, y descubre iterativamente estrategias mediante un evaluador basado en consistencia que exige concordancia entre verificaciones anotadas por humanos y las inducidas por estrategias. Esta metodología transforma el filtrado en una síntesis fundamentada: ensambla de manera confiable instancias de entrenamiento coherentes y verificables y generaliza sin reglas específicas del dominio. Nuestros experimentos demuestran la efectividad del enfoque propuesto bajo los paradigmas de entrenamiento RLVR y destilación de modelos. Los resultados muestran que el entrenamiento con nuestros datos sintetizados produce mejoras significativas en las tareas de LiveCodeBench y AgentBench-OS, destacando la robusta generalización de nuestro marco.

English

Reliable verifiable data has become a key driver of capability gains in modern language models, enabling stable reinforcement learning with verifiable rewards and effective distillation that transfers competence across math, coding, and agentic tasks. Yet constructing generalizable synthetic verifiable data remains difficult due to hallucination-prone generation, and weak or trivial verification artifacts that fail to separate strong from weak solutions. Existing approaches often rely on task-specific heuristics or post-hoc filters that do not transfer across domains and lack a principled, universal evaluator of verifiability. In this work, we introduce an evolutionary, task-agnostic, strategy-guided, executably-checkable data synthesis framework that, from minimal seed supervision, jointly synthesizes problems, diverse candidate solutions, and verification artifacts, and iteratively discovers strategies via a consistency-based evaluator that enforces agreement between human-annotated and strategy-induced checks. This pipeline upgrades filtering into principled synthesis: it reliably assembles coherent, verifiable training instances and generalizes without domain-specific rules. Our experiments demonstrate the effectiveness of the proposed approach under both RLVR and model distillation training paradigms. The results show that training with our synthesized data yields significant improvements on both the LiveCodeBench and AgentBench-OS tasks, highlighting the robust generalization of our framework.