Un Quadro di Coordinamento Strategico per Piccoli LLM Eguaglia i Grandi LLM nella Sintesi dei Dati

A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis

April 11, 2025

Autori: Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu

cs.AI

Abstract

Mentre la sintesi e la distillazione dei dati rappresentano strategie promettenti per migliorare i modelli linguistici di piccole dimensioni, gli approcci attuali si basano fortemente sui Large Language Models (LLM), che soffrono di elevati costi computazionali, inefficienza ambientale e potenziali pregiudizi ereditati da architetture monolitiche. Al contrario, i LLM più piccoli sono più accessibili e sostenibili, ma le loro capacità individuali spesso non sono sufficienti per generare dati di alta qualità, diversificati e affidabili. Ispirati da processi collaborativi umani (ad esempio, la revisione tra pari), proponiamo un framework che coinvolge più LLM di piccole dimensioni, denominato GRA, che aggrega ruoli specializzati tra i piccoli LLM per ottenere un affinamento iterativo e un controllo di qualità tipicamente raggiunti da un singolo LLM di grandi dimensioni. In questo framework collaborativo, più LLM di piccole dimensioni assumono ruoli distinti—Generatore, Revisore e Arbitro—per simulare una pipeline di sintesi dei dati ispirata alla revisione tra pari. Il Generatore propone campioni di dati iniziali, il Revisore ne critica la qualità e la diversità, e l'Arbitro risolve i conflitti per finalizzare l'output. Scomponendo il processo di sintesi in sotto-task specializzati, i piccoli LLM collaborativi possono raggiungere una parità a livello di dati con la distillazione basata su LLM di grandi dimensioni. Attraverso esperimenti su più benchmark, dimostriamo che i dati prodotti da GRA eguagliano o superano la qualità degli output di un singolo LLM di grandi dimensioni, ad esempio Qwen-2.5-72B-Instruct. I nostri risultati mettono in discussione la necessità di modelli monolitici di grandi dimensioni per la sintesi di dati di alta qualità, sostenendo invece una coordinazione strategica di agenti più piccoli. I nostri dataset, modelli e codice sono pubblicamente disponibili all'indirizzo https://github.com/GX-XinGao/GRA.

English

While data synthesis and distillation are promising strategies to enhance small language models, current approaches heavily rely on Large Language Models (LLMs), which suffer from high computational costs, environmental inefficiency, and potential biases inherited from monolithic architectures. In contrast, smaller LLMs are more accessible and sustainable, but their individual capabilities often fall short in generating high-quality, diverse, and reliable data. Inspired by collaborative human processes (e.g., peer review), we propose a multiple small LLMs involved framework, GRA, that aggregates specialized roles across small LLMs to iterative refinement and quality control typically achieved by a single large LLM. In this collaborative framework, multiple small LLMs assume distinct roles-Generator, Reviewer, and Adjudicator-to simulate a peer-review-inspired data synthesis pipeline. The Generator proposes initial data samples, the Reviewer critiques their quality and diversity, and the Adjudicator resolves conflicts to finalize the output. By decomposing the synthesis process into specialized sub-tasks, collaborative small LLMs can achieve data-level parity with large LLM-based distillation. Through experiments across multiple benchmarks, we demonstrate that GRA-produced data matches or exceeds the quality of single large LLM outputs, e.g., Qwen-2.5-72B-Instruct. Our results challenge the necessity of monolithic large models for high-quality data synthesis, advocating instead for strategic coordination of smaller agents. Our datasets, models, and code are publicly available at https://github.com/GX-XinGao/GRA.