Ein strategisches Koordinationsframework kleiner LLMs erreicht die Leistung großer LLMs in der Datensynthese.

A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis

April 11, 2025

Autoren: Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu

cs.AI

Zusammenfassung

Während Daten synthese und -destillation vielversprechende Strategien zur Verbesserung kleiner Sprachmodelle sind, stützen sich aktuelle Ansätze stark auf Large Language Models (LLMs), die unter hohen Rechenkosten, Umweltineffizienz und potenziellen Verzerrungen leiden, die von monolithischen Architekturen geerbt werden. Im Gegensatz dazu sind kleinere LLMs zugänglicher und nachhaltiger, aber ihre individuellen Fähigkeiten reichen oft nicht aus, um hochwertige, vielfältige und zuverlässige Daten zu generieren. Inspiriert von kollaborativen menschlichen Prozessen (z. B. Peer-Review) schlagen wir ein Framework vor, GRA, das mehrere kleine LLMs einbezieht, um spezialisierte Rollen über kleine LLMs hinweg zu aggregieren und so iterative Verfeinerung und Qualitätskontrolle zu erreichen, die typischerweise von einem einzelnen großen LLM erzielt werden. In diesem kollaborativen Framework übernehmen mehrere kleine LLMs unterschiedliche Rollen – Generator, Reviewer und Adjudicator –, um eine von Peer-Review inspirierte Daten synthese-Pipeline zu simulieren. Der Generator schlägt initiale Datenproben vor, der Reviewer kritisiert deren Qualität und Vielfalt, und der Adjudicator löst Konflikte, um die Ausgabe zu finalisieren. Indem der Syntheseprozess in spezialisierte Teilaufgaben zerlegt wird, können kollaborative kleine LLMs eine Datenparität mit der Destillation auf Basis großer LLMs erreichen. Durch Experimente über mehrere Benchmarks hinweg zeigen wir, dass die von GRA produzierten Daten die Qualität der Ausgaben eines einzelnen großen LLMs, z. B. Qwen-2.5-72B-Instruct, erreichen oder übertreffen. Unsere Ergebnisse stellen die Notwendigkeit monolithischer großer Modelle für hochwertige Daten synthese in Frage und plädieren stattdessen für eine strategische Koordination kleinerer Agenten. Unsere Datensätze, Modelle und Code sind öffentlich verfügbar unter https://github.com/GX-XinGao/GRA.

English

While data synthesis and distillation are promising strategies to enhance small language models, current approaches heavily rely on Large Language Models (LLMs), which suffer from high computational costs, environmental inefficiency, and potential biases inherited from monolithic architectures. In contrast, smaller LLMs are more accessible and sustainable, but their individual capabilities often fall short in generating high-quality, diverse, and reliable data. Inspired by collaborative human processes (e.g., peer review), we propose a multiple small LLMs involved framework, GRA, that aggregates specialized roles across small LLMs to iterative refinement and quality control typically achieved by a single large LLM. In this collaborative framework, multiple small LLMs assume distinct roles-Generator, Reviewer, and Adjudicator-to simulate a peer-review-inspired data synthesis pipeline. The Generator proposes initial data samples, the Reviewer critiques their quality and diversity, and the Adjudicator resolves conflicts to finalize the output. By decomposing the synthesis process into specialized sub-tasks, collaborative small LLMs can achieve data-level parity with large LLM-based distillation. Through experiments across multiple benchmarks, we demonstrate that GRA-produced data matches or exceeds the quality of single large LLM outputs, e.g., Qwen-2.5-72B-Instruct. Our results challenge the necessity of monolithic large models for high-quality data synthesis, advocating instead for strategic coordination of smaller agents. Our datasets, models, and code are publicly available at https://github.com/GX-XinGao/GRA.