Um Framework Estratégico de Coordenação de Pequenos LLMs Iguala Grandes LLMs na Síntese de Dados

A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis

April 11, 2025

Autores: Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu

cs.AI

Resumo

Embora a síntese e destilação de dados sejam estratégias promissoras para aprimorar modelos de linguagem pequenos, as abordagens atuais dependem fortemente de Modelos de Linguagem de Grande Escala (LLMs), que sofrem com altos custos computacionais, ineficiência ambiental e potenciais vieses herdados de arquiteturas monolíticas. Em contraste, LLMs menores são mais acessíveis e sustentáveis, mas suas capacidades individuais frequentemente ficam aquém na geração de dados de alta qualidade, diversificados e confiáveis. Inspirados por processos colaborativos humanos (por exemplo, revisão por pares), propomos um framework envolvendo múltiplos LLMs pequenos, chamado GRA, que agrega papéis especializados entre LLMs pequenos para refinamento iterativo e controle de qualidade, tipicamente alcançados por um único LLM grande. Neste framework colaborativo, múltiplos LLMs pequenos assumem papéis distintos — Gerador, Revisor e Árbitro — para simular um pipeline de síntese de dados inspirado na revisão por pares. O Gerador propõe amostras de dados iniciais, o Revisor critica sua qualidade e diversidade, e o Árbitro resolve conflitos para finalizar a saída. Ao decompor o processo de síntese em sub-tarefas especializadas, LLMs pequenos colaborativos podem alcançar paridade em nível de dados com a destilação baseada em LLMs grandes. Por meio de experimentos em múltiplos benchmarks, demonstramos que os dados produzidos pelo GRA igualam ou superam a qualidade das saídas de um único LLM grande, por exemplo, Qwen-2.5-72B-Instruct. Nossos resultados desafiam a necessidade de modelos monolíticos grandes para síntese de dados de alta qualidade, defendendo, em vez disso, a coordenação estratégica de agentes menores. Nossos conjuntos de dados, modelos e código estão publicamente disponíveis em https://github.com/GX-XinGao/GRA.

English

While data synthesis and distillation are promising strategies to enhance small language models, current approaches heavily rely on Large Language Models (LLMs), which suffer from high computational costs, environmental inefficiency, and potential biases inherited from monolithic architectures. In contrast, smaller LLMs are more accessible and sustainable, but their individual capabilities often fall short in generating high-quality, diverse, and reliable data. Inspired by collaborative human processes (e.g., peer review), we propose a multiple small LLMs involved framework, GRA, that aggregates specialized roles across small LLMs to iterative refinement and quality control typically achieved by a single large LLM. In this collaborative framework, multiple small LLMs assume distinct roles-Generator, Reviewer, and Adjudicator-to simulate a peer-review-inspired data synthesis pipeline. The Generator proposes initial data samples, the Reviewer critiques their quality and diversity, and the Adjudicator resolves conflicts to finalize the output. By decomposing the synthesis process into specialized sub-tasks, collaborative small LLMs can achieve data-level parity with large LLM-based distillation. Through experiments across multiple benchmarks, we demonstrate that GRA-produced data matches or exceeds the quality of single large LLM outputs, e.g., Qwen-2.5-72B-Instruct. Our results challenge the necessity of monolithic large models for high-quality data synthesis, advocating instead for strategic coordination of smaller agents. Our datasets, models, and code are publicly available at https://github.com/GX-XinGao/GRA.