Do Real ao Sintético: Sintetizando Milhões de Instruções de Usuário Diversificadas e Complexas com Fundamentação Atribuída

From Real to Synthetic: Synthesizing Millions of Diversified and Complicated User Instructions with Attributed Grounding

June 4, 2025

Autores: Chiwei Zhu, Benfeng Xu, Xiaorui Wang, Zhendong Mao

cs.AI

Resumo

A busca por dados de instrução diversos, complexos e em grande escala é crucial para o alinhamento automático de grandes modelos de linguagem (LLMs). Embora existam métodos capazes de gerar instruções sintéticas em escala, eles sofrem com fontes de fundamentação limitadas, resultando em uma distribuição estreita, ou dependem de extensões triviais que não conseguem produzir trajetórias significativas em termos de complexidade. Em contraste, as instruções que beneficiam o alinhamento eficiente são tipicamente elaboradas com insights cognitivos e fundamentadas em casos de uso do mundo real. Neste artigo, sintetizamos tais instruções utilizando fundamentação atribuída, que envolve 1) um processo de atribuição de cima para baixo que fundamenta um conjunto selecionado de instruções reais em usuários situados, e 2) um processo de síntese de baixo para cima que aproveita documentos da web para primeiro gerar uma situação, e então uma instrução significativa. Esse framework nos permite colher instruções diversas e complexas em escala, utilizando a vasta gama de documentos da web. Especificamente, construímos um conjunto de dados de 1 milhão de instruções, chamado SynthQuestions, e demonstramos que modelos treinados nele alcançam desempenho líder em vários benchmarks comuns, com melhorias que escalam continuamente com mais corpora da web. Dados, modelos e códigos estarão disponíveis em https://github.com/Ignoramus0817/SynthQuestions.

English

The pursuit of diverse, complex, and large-scale instruction data is crucial for automatically aligning large language models (LLMs). While there are methods capable of generating synthetic instructions at scale, they either suffer from limited grounding sources, leading to a narrow distribution, or rely on trivial extensions that fail to produce meaningful trajectories in terms of complexity. In contrast, instructions that benefit efficient alignment are typically crafted with cognitive insights and grounded in real-world use cases. In this paper, we synthesize such instructions using attributed grounding, which involves 1) a top-down attribution process that grounds a selective set of real instructions to situated users, and 2) a bottom-up synthesis process that leverages web documents to first generate a situation, then a meaningful instruction. This framework allows us to harvest diverse and complex instructions at scale, utilizing the vast range of web documents. Specifically, we construct a dataset of 1 million instructions, called SynthQuestions, and demonstrate that models trained on it achieve leading performance on several common benchmarks, with improvements that continually scale with more web corpora. Data, models and codes will be available at https://github.com/Ignoramus0817/SynthQuestions.