CrowdSelect: Seleção de Dados de Instrução Sintética com a Sabedoria de Múltiplos LLMs

CrowdSelect: Synthetic Instruction Data Selection with Multi-LLM Wisdom

March 3, 2025

Autores: Yisen Li, Lingfeng Yang, Wenxuan Shen, Pan Zhou, Yao Wan, Weiwei Lin, Dongping Chen

cs.AI

Resumo

A destilação das capacidades de seguimento de instruções de modelos avançados de linguagem de grande escala (LLMs) em modelos menores, utilizando um subconjunto selecionado, tornou-se uma abordagem predominante no treinamento de modelos. Embora as estratégias existentes de seleção de dados sintéticos de instrução dependam principalmente de sinais unidimensionais (ou seja, pontuações de recompensa, perplexidade do modelo), elas falham em capturar a complexidade do seguimento de instruções em diversos campos. Portanto, investigamos sinais mais diversos para capturar características abrangentes de pares instrução-resposta e propomos três métricas fundamentais que aproveitam a sabedoria de Multi-LLM, informadas por (1) respostas diversas de LLMs e (2) avaliação de modelos de recompensa. Com base nessas métricas, propomos o CrowdSelect, uma métrica integrada que incorpora uma abordagem baseada em clustering para manter a diversidade de respostas. Nossos experimentos abrangentes demonstram que nossas métricas fundamentais melhoram consistentemente o desempenho em 4 modelos base no MT-bench e Arena-Hard. O CrowdSelect, incorporando eficientemente todas as métricas, alcança desempenho de ponta tanto no ajuste fino completo quanto no LoRA, mostrando melhorias de 4,81% no Arena-Hard e 11,1% no MT-bench com o Llama-3.2-3b-instruct. Esperamos que nossas descobertas tragam insights valiosos para pesquisas futuras nessa direção. O código está disponível em https://github.com/listentm/crowdselect.

English

Distilling advanced Large Language Models' instruction-following capabilities into smaller models using a selected subset has become a mainstream approach in model training. While existing synthetic instruction data selection strategies rely mainly on single-dimensional signals (i.e., reward scores, model perplexity), they fail to capture the complexity of instruction-following across diverse fields. Therefore, we investigate more diverse signals to capture comprehensive instruction-response pair characteristics and propose three foundational metrics that leverage Multi-LLM wisdom, informed by (1) diverse LLM responses and (2) reward model assessment. Building upon base metrics, we propose CrowdSelect, an integrated metric incorporating a clustering-based approach to maintain response diversity. Our comprehensive experiments demonstrate that our foundation metrics consistently improve performance across 4 base models on MT-bench and Arena-Hard. CrowdSelect, efficiently incorporating all metrics, achieves state-of-the-art performance in both Full and LoRA fine-tuning, showing improvements of 4.81% on Arena-Hard and 11.1% on MT-bench with Llama-3.2-3b-instruct. We hope our findings will bring valuable insights for future research in this direction. Code are available at https://github.com/listentm/crowdselect.