Стратегическая система координации малых языковых моделей сопоставима с крупными языковыми моделями в синтезе данных

A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis

April 11, 2025

Авторы: Xin Gao, Qizhi Pei, Zinan Tang, Yu Li, Honglin Lin, Jiang Wu, Conghui He, Lijun Wu

cs.AI

Аннотация

Хотя синтез и дистилляция данных являются перспективными стратегиями для улучшения небольших языковых моделей, современные подходы в значительной степени зависят от крупных языковых моделей (LLM), которые страдают от высоких вычислительных затрат, низкой экологической эффективности и потенциальных предубеждений, унаследованных от монолитных архитектур. В отличие от них, небольшие LLM более доступны и устойчивы, но их индивидуальные возможности часто оказываются недостаточными для генерации высококачественных, разнообразных и надежных данных. Вдохновленные совместными человеческими процессами (например, рецензированием), мы предлагаем фреймворк GRA, в котором задействованы несколько небольших LLM, объединяющих специализированные роли для итеративного улучшения и контроля качества, обычно достигаемых одной крупной LLM. В этом совместном фреймворке несколько небольших LLM выполняют различные роли — Генератор, Рецензент и Арбитр — чтобы имитировать процесс синтеза данных, вдохновленный рецензированием. Генератор предлагает начальные образцы данных, Рецензент оценивает их качество и разнообразие, а Арбитр разрешает конфликты для финализации вывода. Разделяя процесс синтеза на специализированные подзадачи, совместные небольшие LLM могут достичь паритета на уровне данных с дистилляцией на основе крупных LLM. В ходе экспериментов на множестве бенчмарков мы демонстрируем, что данные, созданные с помощью GRA, соответствуют или превосходят качество выходных данных одной крупной LLM, например, Qwen-2.5-72B-Instruct. Наши результаты ставят под сомнение необходимость монолитных крупных моделей для высококачественного синтеза данных, предлагая вместо этого стратегическую координацию небольших агентов. Наши наборы данных, модели и код доступны по адресу https://github.com/GX-XinGao/GRA.

English

While data synthesis and distillation are promising strategies to enhance small language models, current approaches heavily rely on Large Language Models (LLMs), which suffer from high computational costs, environmental inefficiency, and potential biases inherited from monolithic architectures. In contrast, smaller LLMs are more accessible and sustainable, but their individual capabilities often fall short in generating high-quality, diverse, and reliable data. Inspired by collaborative human processes (e.g., peer review), we propose a multiple small LLMs involved framework, GRA, that aggregates specialized roles across small LLMs to iterative refinement and quality control typically achieved by a single large LLM. In this collaborative framework, multiple small LLMs assume distinct roles-Generator, Reviewer, and Adjudicator-to simulate a peer-review-inspired data synthesis pipeline. The Generator proposes initial data samples, the Reviewer critiques their quality and diversity, and the Adjudicator resolves conflicts to finalize the output. By decomposing the synthesis process into specialized sub-tasks, collaborative small LLMs can achieve data-level parity with large LLM-based distillation. Through experiments across multiple benchmarks, we demonstrate that GRA-produced data matches or exceeds the quality of single large LLM outputs, e.g., Qwen-2.5-72B-Instruct. Our results challenge the necessity of monolithic large models for high-quality data synthesis, advocating instead for strategic coordination of smaller agents. Our datasets, models, and code are publicly available at https://github.com/GX-XinGao/GRA.