De lo real a lo sintético: Síntesis de millones de instrucciones de usuario diversificadas y complejas con fundamentación atribuida
From Real to Synthetic: Synthesizing Millions of Diversified and Complicated User Instructions with Attributed Grounding
June 4, 2025
Autores: Chiwei Zhu, Benfeng Xu, Xiaorui Wang, Zhendong Mao
cs.AI
Resumen
La búsqueda de datos de instrucción diversos, complejos y a gran escala es crucial para alinear automáticamente los modelos de lenguaje grandes (LLMs, por sus siglas en inglés). Si bien existen métodos capaces de generar instrucciones sintéticas a gran escala, estos adolecen de fuentes de fundamentación limitadas, lo que resulta en una distribución estrecha, o dependen de extensiones triviales que no logran producir trayectorias significativas en términos de complejidad. Por el contrario, las instrucciones que benefician una alineación eficiente suelen estar diseñadas con conocimientos cognitivos y fundamentadas en casos de uso del mundo real. En este artículo, sintetizamos dichas instrucciones utilizando una fundamentación atribuida, que implica 1) un proceso de atribución de arriba hacia abajo que fundamenta un conjunto selecto de instrucciones reales en usuarios situados, y 2) un proceso de síntesis de abajo hacia arriba que aprovecha documentos web para primero generar una situación y luego una instrucción significativa. Este marco nos permite recolectar instrucciones diversas y complejas a gran escala, utilizando la amplia gama de documentos web. Específicamente, construimos un conjunto de datos de 1 millón de instrucciones, llamado SynthQuestions, y demostramos que los modelos entrenados en él logran un rendimiento líder en varios puntos de referencia comunes, con mejoras que escalan continuamente con más corpus web. Los datos, modelos y códigos estarán disponibles en https://github.com/Ignoramus0817/SynthQuestions.
English
The pursuit of diverse, complex, and large-scale instruction data is crucial
for automatically aligning large language models (LLMs). While there are
methods capable of generating synthetic instructions at scale, they either
suffer from limited grounding sources, leading to a narrow distribution, or
rely on trivial extensions that fail to produce meaningful trajectories in
terms of complexity. In contrast, instructions that benefit efficient alignment
are typically crafted with cognitive insights and grounded in real-world use
cases. In this paper, we synthesize such instructions using attributed
grounding, which involves 1) a top-down attribution process that grounds a
selective set of real instructions to situated users, and 2) a bottom-up
synthesis process that leverages web documents to first generate a situation,
then a meaningful instruction. This framework allows us to harvest diverse and
complex instructions at scale, utilizing the vast range of web documents.
Specifically, we construct a dataset of 1 million instructions, called
SynthQuestions, and demonstrate that models trained on it achieve leading
performance on several common benchmarks, with improvements that continually
scale with more web corpora. Data, models and codes will be available at
https://github.com/Ignoramus0817/SynthQuestions.