Van Real naar Synthetisch: Het Synthetiseren van Miljoenen Gediversifieerde en Complexe Gebruikersinstructies met Toegewezen Gronding

From Real to Synthetic: Synthesizing Millions of Diversified and Complicated User Instructions with Attributed Grounding

June 4, 2025

Auteurs: Chiwei Zhu, Benfeng Xu, Xiaorui Wang, Zhendong Mao

cs.AI

Samenvatting

Het nastreven van diverse, complexe en grootschalige instructiedata is cruciaal voor het automatisch afstemmen van grote taalmmodellen (LLM's). Hoewel er methoden bestaan die synthetische instructies op grote schaal kunnen genereren, lijden deze ofwel aan beperkte bronnen voor onderbouwing, wat leidt tot een smalle distributie, of ze vertrouwen op triviale uitbreidingen die geen betekenisvolle trajecten in termen van complexiteit opleveren. Daarentegen worden instructies die een efficiënte afstemming bevorderen, doorgaans vervaardigd met cognitieve inzichten en verankerd in real-world use cases. In dit artikel synthetiseren we dergelijke instructies met behulp van toegeschreven onderbouwing, wat inhoudt: 1) een top-down attributieproces dat een selectieve set van echte instructies verbindt aan gesitueerde gebruikers, en 2) een bottom-up syntheseproces dat webdocumenten benut om eerst een situatie te genereren, en vervolgens een betekenisvolle instructie. Dit raamwerk stelt ons in staat om diverse en complexe instructies op grote schaal te oogsten, waarbij we gebruikmaken van het brede scala aan webdocumenten. Specifiek construeren we een dataset van 1 miljoen instructies, genaamd SynthQuestions, en tonen we aan dat modellen die hierop getraind worden, toonaangevende prestaties behalen op verschillende gangbare benchmarks, waarbij de verbeteringen continu schalen met meer webcorpora. Data, modellen en code zullen beschikbaar zijn op https://github.com/Ignoramus0817/SynthQuestions.

English

The pursuit of diverse, complex, and large-scale instruction data is crucial for automatically aligning large language models (LLMs). While there are methods capable of generating synthetic instructions at scale, they either suffer from limited grounding sources, leading to a narrow distribution, or rely on trivial extensions that fail to produce meaningful trajectories in terms of complexity. In contrast, instructions that benefit efficient alignment are typically crafted with cognitive insights and grounded in real-world use cases. In this paper, we synthesize such instructions using attributed grounding, which involves 1) a top-down attribution process that grounds a selective set of real instructions to situated users, and 2) a bottom-up synthesis process that leverages web documents to first generate a situation, then a meaningful instruction. This framework allows us to harvest diverse and complex instructions at scale, utilizing the vast range of web documents. Specifically, we construct a dataset of 1 million instructions, called SynthQuestions, and demonstrate that models trained on it achieve leading performance on several common benchmarks, with improvements that continually scale with more web corpora. Data, models and codes will be available at https://github.com/Ignoramus0817/SynthQuestions.