Un cadre de coordination stratégique de petits LLM rivalise avec les grands LLM dans la synthèse de données.

A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis

April 11, 2025

Auteurs: Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu

cs.AI

Résumé

Bien que la synthèse et la distillation de données soient des stratégies prometteuses pour améliorer les petits modèles de langage, les approches actuelles reposent fortement sur les grands modèles de langage (LLMs), qui souffrent de coûts de calcul élevés, d'une inefficacité environnementale et de biais potentiels hérités d'architectures monolithiques. En revanche, les petits LLMs sont plus accessibles et durables, mais leurs capacités individuelles sont souvent insuffisantes pour générer des données de haute qualité, diversifiées et fiables. Inspirés par les processus collaboratifs humains (par exemple, l'examen par les pairs), nous proposons un cadre impliquant plusieurs petits LLMs, appelé GRA, qui agrège des rôles spécialisés à travers plusieurs petits LLMs pour un raffinement itératif et un contrôle de qualité typiquement réalisés par un seul grand LLM. Dans ce cadre collaboratif, plusieurs petits LLMs assument des rôles distincts — Générateur, Relecteur et Arbitre — pour simuler un pipeline de synthèse de données inspiré de l'examen par les pairs. Le Générateur propose des échantillons de données initiaux, le Relecteur critique leur qualité et leur diversité, et l'Arbitre résout les conflits pour finaliser la sortie. En décomposant le processus de synthèse en sous-tâches spécialisées, les petits LLMs collaboratifs peuvent atteindre une parité au niveau des données avec la distillation basée sur un grand LLM. À travers des expériences sur plusieurs benchmarks, nous démontrons que les données produites par GRA égalent ou surpassent la qualité des sorties d'un seul grand LLM, par exemple, Qwen-2.5-72B-Instruct. Nos résultats remettent en question la nécessité de modèles monolithiques de grande taille pour la synthèse de données de haute qualité, préconisant plutôt une coordination stratégique de petits agents. Nos ensembles de données, modèles et code sont disponibles publiquement à l'adresse https://github.com/GX-XinGao/GRA.

English

While data synthesis and distillation are promising strategies to enhance small language models, current approaches heavily rely on Large Language Models (LLMs), which suffer from high computational costs, environmental inefficiency, and potential biases inherited from monolithic architectures. In contrast, smaller LLMs are more accessible and sustainable, but their individual capabilities often fall short in generating high-quality, diverse, and reliable data. Inspired by collaborative human processes (e.g., peer review), we propose a multiple small LLMs involved framework, GRA, that aggregates specialized roles across small LLMs to iterative refinement and quality control typically achieved by a single large LLM. In this collaborative framework, multiple small LLMs assume distinct roles-Generator, Reviewer, and Adjudicator-to simulate a peer-review-inspired data synthesis pipeline. The Generator proposes initial data samples, the Reviewer critiques their quality and diversity, and the Adjudicator resolves conflicts to finalize the output. By decomposing the synthesis process into specialized sub-tasks, collaborative small LLMs can achieve data-level parity with large LLM-based distillation. Through experiments across multiple benchmarks, we demonstrate that GRA-produced data matches or exceeds the quality of single large LLM outputs, e.g., Qwen-2.5-72B-Instruct. Our results challenge the necessity of monolithic large models for high-quality data synthesis, advocating instead for strategic coordination of smaller agents. Our datasets, models, and code are publicly available at https://github.com/GX-XinGao/GRA.