Dal Reale al Sintetico: Sintetizzare Milioni di Istruzioni Utente Diversificate e Complesse con Attribuzione di Grounding

From Real to Synthetic: Synthesizing Millions of Diversified and Complicated User Instructions with Attributed Grounding

June 4, 2025

Autori: Chiwei Zhu, Benfeng Xu, Xiaorui Wang, Zhendong Mao

cs.AI

Abstract

La ricerca di dati di istruzione diversificati, complessi e su larga scala è cruciale per allineare automaticamente i grandi modelli linguistici (LLM). Sebbene esistano metodi in grado di generare istruzioni sintetiche su larga scala, essi soffrono o di fonti di ancoraggio limitate, che portano a una distribuzione ristretta, o si basano su estensioni banali che non riescono a produrre traiettorie significative in termini di complessità. Al contrario, le istruzioni che favoriscono un allineamento efficiente sono tipicamente progettate con intuizioni cognitive e ancorate a casi d'uso reali. In questo articolo, sintetizziamo tali istruzioni utilizzando un ancoraggio attribuito, che prevede 1) un processo di attribuzione top-down che ancorizza un insieme selezionato di istruzioni reali a utenti situati, e 2) un processo di sintesi bottom-up che sfrutta i documenti web per generare prima una situazione, poi un'istruzione significativa. Questo framework ci consente di raccogliere istruzioni diversificate e complesse su larga scala, sfruttando la vasta gamma di documenti web. Nello specifico, costruiamo un dataset di 1 milione di istruzioni, chiamato SynthQuestions, e dimostriamo che i modelli addestrati su di esso raggiungono prestazioni leader su diversi benchmark comuni, con miglioramenti che continuano a scalare con l'aggiunta di più corpora web. Dati, modelli e codici saranno disponibili su https://github.com/Ignoramus0817/SynthQuestions.

English

The pursuit of diverse, complex, and large-scale instruction data is crucial for automatically aligning large language models (LLMs). While there are methods capable of generating synthetic instructions at scale, they either suffer from limited grounding sources, leading to a narrow distribution, or rely on trivial extensions that fail to produce meaningful trajectories in terms of complexity. In contrast, instructions that benefit efficient alignment are typically crafted with cognitive insights and grounded in real-world use cases. In this paper, we synthesize such instructions using attributed grounding, which involves 1) a top-down attribution process that grounds a selective set of real instructions to situated users, and 2) a bottom-up synthesis process that leverages web documents to first generate a situation, then a meaningful instruction. This framework allows us to harvest diverse and complex instructions at scale, utilizing the vast range of web documents. Specifically, we construct a dataset of 1 million instructions, called SynthQuestions, and demonstrate that models trained on it achieve leading performance on several common benchmarks, with improvements that continually scale with more web corpora. Data, models and codes will be available at https://github.com/Ignoramus0817/SynthQuestions.