Een strategisch coördinatiekader van kleine LLM's evenaart grote LLM's in datasynthese.

A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis

April 11, 2025

Auteurs: Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu

cs.AI

Samenvatting

Hoewel datasynthese en -distillatie veelbelovende strategieën zijn om kleine taalmodellen te verbeteren, zijn huidige benaderingen sterk afhankelijk van grote taalmodellen (LLM's), die te kampen hebben met hoge rekenkosten, milieuonvriendelijkheid en mogelijke vooroordelen die zijn overgenomen van monolithische architecturen. Daarentegen zijn kleinere LLM's toegankelijker en duurzamer, maar hun individuele capaciteiten schieten vaak tekort in het genereren van hoogwaardige, diverse en betrouwbare data. Geïnspireerd door collaboratieve menselijke processen (bijvoorbeeld peer review), stellen we een framework voor met meerdere kleine LLM's, genaamd GRA, dat gespecialiseerde rollen over kleine LLM's verdeelt om iteratieve verfijning en kwaliteitscontrole te bereiken, wat doorgaans door één grote LLM wordt gedaan. In dit collaboratieve framework nemen meerdere kleine LLM's verschillende rollen aan – Generator, Reviewer en Adjudicator – om een peer-review-geïnspireerde datasynthesepijplijn te simuleren. De Generator stelt initiële datamonsters voor, de Reviewer beoordeelt hun kwaliteit en diversiteit, en de Adjudicator lost conflicten op om de output te finaliseren. Door het syntheseproces op te splitsen in gespecialiseerde subtaken, kunnen collaboratieve kleine LLM's een dataniveau bereiken dat gelijk is aan distillatie op basis van grote LLM's. Via experimenten op meerdere benchmarks tonen we aan dat door GRA geproduceerde data de kwaliteit van uitvoer van enkele grote LLM's evenaart of overtreft, bijvoorbeeld Qwen-2.5-72B-Instruct. Onze resultaten betwisten de noodzaak van monolithische grote modellen voor hoogwaardige datasynthese en pleiten in plaats daarvan voor strategische coördinatie van kleinere agents. Onze datasets, modellen en code zijn publiekelijk beschikbaar op https://github.com/GX-XinGao/GRA.

English

While data synthesis and distillation are promising strategies to enhance small language models, current approaches heavily rely on Large Language Models (LLMs), which suffer from high computational costs, environmental inefficiency, and potential biases inherited from monolithic architectures. In contrast, smaller LLMs are more accessible and sustainable, but their individual capabilities often fall short in generating high-quality, diverse, and reliable data. Inspired by collaborative human processes (e.g., peer review), we propose a multiple small LLMs involved framework, GRA, that aggregates specialized roles across small LLMs to iterative refinement and quality control typically achieved by a single large LLM. In this collaborative framework, multiple small LLMs assume distinct roles-Generator, Reviewer, and Adjudicator-to simulate a peer-review-inspired data synthesis pipeline. The Generator proposes initial data samples, the Reviewer critiques their quality and diversity, and the Adjudicator resolves conflicts to finalize the output. By decomposing the synthesis process into specialized sub-tasks, collaborative small LLMs can achieve data-level parity with large LLM-based distillation. Through experiments across multiple benchmarks, we demonstrate that GRA-produced data matches or exceeds the quality of single large LLM outputs, e.g., Qwen-2.5-72B-Instruct. Our results challenge the necessity of monolithic large models for high-quality data synthesis, advocating instead for strategic coordination of smaller agents. Our datasets, models, and code are publicly available at https://github.com/GX-XinGao/GRA.