Multi-Agent Samenwerking bij Gegevensselectie voor Efficiënte LLM-vooropleiding

Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining

October 10, 2024

Auteurs: Tianyi Bai, Ling Yang, Zhen Hao Wong, Jiahui Peng, Xinlin Zhuang, Chi Zhang, Lijun Wu, Qiu Jiantao, Wentao Zhang, Binhang Yuan, Conghui He

cs.AI

Samenvatting

Efficiënte gegevensselectie is cruciaal om het voorbereiden van grote taalmodellen (LLM's) te versnellen. Hoewel verschillende methoden zijn voorgesteld om de gegevensefficiëntie te verbeteren, heeft beperkt onderzoek de inherente conflicten tussen deze benaderingen aangepakt om optimale gegevensselectie voor LLM-voorbereiding te bereiken. Om dit probleem aan te pakken, stellen we een nieuw multi-agent samenwerkingsmechanisme voor gegevensselectie voor. In dit kader fungeert elke gegevensselectiemethode als een onafhankelijke agent, en er is een agentenconsole ontworpen om dynamisch de informatie van alle agenten gedurende het LLM-trainingsproces te integreren. We voeren uitgebreide empirische studies uit om ons multi-agentenkader te evalueren. De experimentele resultaten tonen aan dat onze aanpak de gegevensefficiëntie aanzienlijk verbetert, de convergentie bij LLM-training versnelt en een gemiddelde prestatiewinst van 10,5% behaalt over meerdere taalmodelbenchmarks in vergelijking met de state-of-the-art methoden.

English

Efficient data selection is crucial to accelerate the pretraining of large language models (LLMs). While various methods have been proposed to enhance data efficiency, limited research has addressed the inherent conflicts between these approaches to achieve optimal data selection for LLM pretraining. To tackle this problem, we propose a novel multi-agent collaborative data selection mechanism. In this framework, each data selection method serves as an independent agent, and an agent console is designed to dynamically integrate the information from all agents throughout the LLM training process. We conduct extensive empirical studies to evaluate our multi-agent framework. The experimental results demonstrate that our approach significantly improves data efficiency, accelerates convergence in LLM training, and achieves an average performance gain of 10.5% across multiple language model benchmarks compared to the state-of-the-art methods.