EvoSyn: Síntese Evolutiva de Dados Generalizável para Aprendizado Verificável

EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning

October 20, 2025

Autores: He Du, Bowen Li, Aijun Yang, Siyang He, Qipeng Guo, Dacheng Tao

cs.AI

Resumo

Dados verificáveis e confiáveis tornaram-se um fator chave para ganhos de capacidade em modelos de linguagem modernos, permitindo aprendizado por reforço estável com recompensas verificáveis e destilação eficaz que transfere competência em tarefas de matemática, programação e agentes. No entanto, a construção de dados sintéticos verificáveis e generalizáveis permanece difícil devido à geração propensa a alucinações e a artefatos de verificação fracos ou triviais que falham em separar soluções fortes de soluções fracas. As abordagens existentes frequentemente dependem de heurísticas específicas para tarefas ou filtros pós-hoc que não se transferem entre domínios e carecem de um avaliador universal e fundamentado de verificabilidade. Neste trabalho, introduzimos um framework de síntese de dados evolutivo, agnóstico a tarefas, guiado por estratégias e verificável por execução que, a partir de supervisão mínima inicial, sintetiza conjuntamente problemas, soluções candidatas diversas e artefatos de verificação, e descobre iterativamente estratégias por meio de um avaliador baseado em consistência que impõe concordância entre verificações anotadas por humanos e induzidas por estratégias. Esse pipeline transforma a filtragem em síntese fundamentada: ele monta de forma confiável instâncias de treinamento coerentes e verificáveis e generaliza sem regras específicas de domínio. Nossos experimentos demonstram a eficácia da abordagem proposta tanto sob paradigmas de treinamento RLVR quanto de destilação de modelos. Os resultados mostram que o treinamento com nossos dados sintetizados produz melhorias significativas nas tarefas do LiveCodeBench e do AgentBench-OS, destacando a robusta generalização do nosso framework.

English

Reliable verifiable data has become a key driver of capability gains in modern language models, enabling stable reinforcement learning with verifiable rewards and effective distillation that transfers competence across math, coding, and agentic tasks. Yet constructing generalizable synthetic verifiable data remains difficult due to hallucination-prone generation, and weak or trivial verification artifacts that fail to separate strong from weak solutions. Existing approaches often rely on task-specific heuristics or post-hoc filters that do not transfer across domains and lack a principled, universal evaluator of verifiability. In this work, we introduce an evolutionary, task-agnostic, strategy-guided, executably-checkable data synthesis framework that, from minimal seed supervision, jointly synthesizes problems, diverse candidate solutions, and verification artifacts, and iteratively discovers strategies via a consistency-based evaluator that enforces agreement between human-annotated and strategy-induced checks. This pipeline upgrades filtering into principled synthesis: it reliably assembles coherent, verifiable training instances and generalizes without domain-specific rules. Our experiments demonstrate the effectiveness of the proposed approach under both RLVR and model distillation training paradigms. The results show that training with our synthesized data yields significant improvements on both the LiveCodeBench and AgentBench-OS tasks, highlighting the robust generalization of our framework.