効率的なLLM事前学習のためのマルチエージェント協調データ選択

Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining

October 10, 2024

著者: Tianyi Bai, Ling Yang, Zhen Hao Wong, Jiahui Peng, Xinlin Zhuang, Chi Zhang, Lijun Wu, Qiu Jiantao, Wentao Zhang, Binhang Yuan, Conghui He

cs.AI

要旨

大規模言語モデル（LLM）の事前学習を加速させるためには、効率的なデータ選択が重要です。データ効率性を向上させるためにさまざまな手法が提案されていますが、これらのアプローチ間の相反点に対処し、LLMの事前学習に最適なデータ選択を実現するための研究は限られています。この問題に取り組むために、私たちは新しいマルチエージェント協調データ選択メカニズムを提案します。このフレームワークでは、各データ選択方法が独立したエージェントとして機能し、エージェントコンソールがLLMトレーニングプロセス全体ですべてのエージェントからの情報を動的に統合するよう設計されています。私たちは多くの実験的研究を行い、私たちのマルチエージェントフレームワークを評価しました。実験結果は、私たちのアプローチがデータ効率性を著しく向上させ、LLMトレーニングの収束を加速し、最先端の手法に比べて複数の言語モデルベンチマークで平均パフォーマンスが10.5％向上したことを示しています。

English

Efficient data selection is crucial to accelerate the pretraining of large language models (LLMs). While various methods have been proposed to enhance data efficiency, limited research has addressed the inherent conflicts between these approaches to achieve optimal data selection for LLM pretraining. To tackle this problem, we propose a novel multi-agent collaborative data selection mechanism. In this framework, each data selection method serves as an independent agent, and an agent console is designed to dynamically integrate the information from all agents throughout the LLM training process. We conduct extensive empirical studies to evaluate our multi-agent framework. The experimental results demonstrate that our approach significantly improves data efficiency, accelerates convergence in LLM training, and achieves an average performance gain of 10.5% across multiple language model benchmarks compared to the state-of-the-art methods.