Selezione collaborativa dei dati tra agenti multipli per un addestramento preliminare LLM efficiente

Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining

October 10, 2024

Autori: Tianyi Bai, Ling Yang, Zhen Hao Wong, Jiahui Peng, Xinlin Zhuang, Chi Zhang, Lijun Wu, Qiu Jiantao, Wentao Zhang, Binhang Yuan, Conghui He

cs.AI

Abstract

La selezione efficiente dei dati è cruciale per accelerare la preformazione dei grandi modelli linguistici (LLM). Sebbene siano stati proposti vari metodi per migliorare l'efficienza dei dati, poche ricerche hanno affrontato i conflitti intrinseci tra questi approcci per ottenere una selezione ottimale dei dati per la preformazione dei LLM. Per affrontare questo problema, proponiamo un nuovo meccanismo di selezione dati collaborativo multi-agente. In questo quadro, ciascun metodo di selezione dati funge da agente indipendente, e una console degli agenti è progettata per integrare dinamicamente le informazioni di tutti gli agenti durante il processo di addestramento del LLM. Conduciamo ampie ricerche empiriche per valutare il nostro framework multi-agente. I risultati sperimentali dimostrano che il nostro approccio migliora significativamente l'efficienza dei dati, accelera la convergenza nell'addestramento del LLM e ottiene un guadagno medio delle prestazioni del 10,5% su diversi benchmark dei modelli linguistici rispetto ai metodi all'avanguardia.

English

Efficient data selection is crucial to accelerate the pretraining of large language models (LLMs). While various methods have been proposed to enhance data efficiency, limited research has addressed the inherent conflicts between these approaches to achieve optimal data selection for LLM pretraining. To tackle this problem, we propose a novel multi-agent collaborative data selection mechanism. In this framework, each data selection method serves as an independent agent, and an agent console is designed to dynamically integrate the information from all agents throughout the LLM training process. We conduct extensive empirical studies to evaluate our multi-agent framework. The experimental results demonstrate that our approach significantly improves data efficiency, accelerates convergence in LLM training, and achieves an average performance gain of 10.5% across multiple language model benchmarks compared to the state-of-the-art methods.