CrowdSelect : Sélection de données d'instruction synthétiques avec la sagesse collective de multiples LLM

CrowdSelect: Synthetic Instruction Data Selection with Multi-LLM Wisdom

March 3, 2025

Auteurs: Yisen Li, Lingfeng Yang, Wenxuan Shen, Pan Zhou, Yao Wan, Weiwei Lin, Dongping Chen

cs.AI

Résumé

La distillation des capacités d'exécution d'instructions des modèles de langage avancés (LLM) dans des modèles plus petits à l'aide d'un sous-ensemble sélectionné est devenue une approche courante dans l'entraînement des modèles. Bien que les stratégies existantes de sélection de données d'instructions synthétiques reposent principalement sur des signaux unidimensionnels (c'est-à-dire les scores de récompense, la perplexité du modèle), elles ne parviennent pas à capturer la complexité de l'exécution d'instructions dans divers domaines. Par conséquent, nous explorons des signaux plus diversifiés pour capturer les caractéristiques complètes des paires instruction-réponse et proposons trois métriques fondamentales qui exploitent la sagesse collective de plusieurs LLM, basées sur (1) les réponses variées des LLM et (2) l'évaluation par un modèle de récompense. Sur la base de ces métriques, nous proposons CrowdSelect, une métrique intégrée qui intègre une approche basée sur le clustering pour maintenir la diversité des réponses. Nos expériences approfondies démontrent que nos métriques fondamentales améliorent systématiquement les performances sur 4 modèles de base dans MT-bench et Arena-Hard. CrowdSelect, qui intègre efficacement toutes les métriques, atteint des performances de pointe à la fois en fine-tuning complet et en LoRA, montrant des améliorations de 4,81 % sur Arena-Hard et de 11,1 % sur MT-bench avec Llama-3.2-3b-instruct. Nous espérons que nos résultats apporteront des insights précieux pour les recherches futures dans cette direction. Le code est disponible à l'adresse https://github.com/listentm/crowdselect.

English

Distilling advanced Large Language Models' instruction-following capabilities into smaller models using a selected subset has become a mainstream approach in model training. While existing synthetic instruction data selection strategies rely mainly on single-dimensional signals (i.e., reward scores, model perplexity), they fail to capture the complexity of instruction-following across diverse fields. Therefore, we investigate more diverse signals to capture comprehensive instruction-response pair characteristics and propose three foundational metrics that leverage Multi-LLM wisdom, informed by (1) diverse LLM responses and (2) reward model assessment. Building upon base metrics, we propose CrowdSelect, an integrated metric incorporating a clustering-based approach to maintain response diversity. Our comprehensive experiments demonstrate that our foundation metrics consistently improve performance across 4 base models on MT-bench and Arena-Hard. CrowdSelect, efficiently incorporating all metrics, achieves state-of-the-art performance in both Full and LoRA fine-tuning, showing improvements of 4.81% on Arena-Hard and 11.1% on MT-bench with Llama-3.2-3b-instruct. We hope our findings will bring valuable insights for future research in this direction. Code are available at https://github.com/listentm/crowdselect.