Un Marco de Coordinación Estratégica de Pequeños LLM Iguala a los Grandes LLM en Síntesis de Datos

A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis

April 11, 2025

Autores: Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu

cs.AI

Resumen

Si bien la síntesis y destilación de datos son estrategias prometedoras para mejorar los modelos de lenguaje pequeños, los enfoques actuales dependen en gran medida de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), los cuales presentan altos costos computacionales, ineficiencia ambiental y posibles sesgos heredados de arquitecturas monolíticas. En contraste, los LLMs más pequeños son más accesibles y sostenibles, pero sus capacidades individuales a menudo no alcanzan para generar datos de alta calidad, diversos y confiables. Inspirados por procesos colaborativos humanos (por ejemplo, la revisión por pares), proponemos un marco que involucra múltiples LLMs pequeños, denominado GRA, que agrega roles especializados entre estos modelos para lograr un refinamiento iterativo y control de calidad típicamente alcanzado por un único LLM grande. En este marco colaborativo, múltiples LLMs pequeños asumen roles distintos—Generador, Revisor y Arbitrador—para simular un proceso de síntesis de datos inspirado en la revisión por pares. El Generador propone muestras de datos iniciales, el Revisor critica su calidad y diversidad, y el Arbitrador resuelve conflictos para finalizar la salida. Al descomponer el proceso de síntesis en subtareas especializadas, los LLMs pequeños colaborativos pueden alcanzar una paridad a nivel de datos con la destilación basada en LLMs grandes. A través de experimentos en múltiples benchmarks, demostramos que los datos producidos por GRA igualan o superan la calidad de las salidas de un único LLM grande, como Qwen-2.5-72B-Instruct. Nuestros resultados cuestionan la necesidad de modelos monolíticos de gran escala para la síntesis de datos de alta calidad, abogando en su lugar por la coordinación estratégica de agentes más pequeños. Nuestros conjuntos de datos, modelos y código están disponibles públicamente en https://github.com/GX-XinGao/GRA.

English

While data synthesis and distillation are promising strategies to enhance small language models, current approaches heavily rely on Large Language Models (LLMs), which suffer from high computational costs, environmental inefficiency, and potential biases inherited from monolithic architectures. In contrast, smaller LLMs are more accessible and sustainable, but their individual capabilities often fall short in generating high-quality, diverse, and reliable data. Inspired by collaborative human processes (e.g., peer review), we propose a multiple small LLMs involved framework, GRA, that aggregates specialized roles across small LLMs to iterative refinement and quality control typically achieved by a single large LLM. In this collaborative framework, multiple small LLMs assume distinct roles-Generator, Reviewer, and Adjudicator-to simulate a peer-review-inspired data synthesis pipeline. The Generator proposes initial data samples, the Reviewer critiques their quality and diversity, and the Adjudicator resolves conflicts to finalize the output. By decomposing the synthesis process into specialized sub-tasks, collaborative small LLMs can achieve data-level parity with large LLM-based distillation. Through experiments across multiple benchmarks, we demonstrate that GRA-produced data matches or exceeds the quality of single large LLM outputs, e.g., Qwen-2.5-72B-Instruct. Our results challenge the necessity of monolithic large models for high-quality data synthesis, advocating instead for strategic coordination of smaller agents. Our datasets, models, and code are publicly available at https://github.com/GX-XinGao/GRA.