モデルマージングレシピの進化的最適化

Evolutionary Optimization of Model Merging Recipes

March 19, 2024

著者: Takuya Akiba, Makoto Shing, Yujin Tang, Qi Sun, David Ha

cs.AI

要旨

我々は、進化的アルゴリズムを活用して強力な基盤モデルの作成を自動化する新たなアプリケーションを提案する。モデルマージは、そのコスト効率の良さからLLM開発において有望なアプローチとして注目されているが、現状では人間の直感とドメイン知識に依存しており、その潜在能力が制限されている。本論文では、この制約を克服する進化的アプローチを提案する。このアプローチでは、多様なオープンソースモデルの効果的な組み合わせを自動的に発見し、大規模な追加学習データや計算資源を必要とせずに、それらの集合知を活用する。我々のアプローチはパラメータ空間とデータフロー空間の両方で動作し、個々のモデルの重みだけでなく、それ以上の最適化を可能にする。このアプローチは、数学的推論能力を備えた日本語LLMのような、クロスドメインのモデルマージも可能にする。驚くべきことに、我々の日本語数学LLMは、そのようなタスクを明示的に学習していないにもかかわらず、様々な確立された日本語LLMベンチマークにおいて最先端の性能を達成し、パラメータ数が大幅に多いモデルを凌駕した。さらに、我々のアプローチを通じて生成された文化的に意識した日本語VLMは、日本文化固有のコンテンツを記述する際の有効性を示し、従来の日本語VLMを上回る性能を発揮した。本研究は、オープンソースコミュニティに新たな最先端モデルを提供するだけでなく、自動化されたモデル構成の新たなパラダイムを導入し、基盤モデル開発のための効率的な代替アプローチを探求する道を切り開くものである。

English

We present a novel application of evolutionary algorithms to automate the creation of powerful foundation models. While model merging has emerged as a promising approach for LLM development due to its cost-effectiveness, it currently relies on human intuition and domain knowledge, limiting its potential. Here, we propose an evolutionary approach that overcomes this limitation by automatically discovering effective combinations of diverse open-source models, harnessing their collective intelligence without requiring extensive additional training data or compute. Our approach operates in both parameter space and data flow space, allowing for optimization beyond just the weights of the individual models. This approach even facilitates cross-domain merging, generating models like a Japanese LLM with Math reasoning capabilities. Surprisingly, our Japanese Math LLM achieved state-of-the-art performance on a variety of established Japanese LLM benchmarks, even surpassing models with significantly more parameters, despite not being explicitly trained for such tasks. Furthermore, a culturally-aware Japanese VLM generated through our approach demonstrates its effectiveness in describing Japanese culture-specific content, outperforming previous Japanese VLMs. This work not only contributes new state-of-the-art models back to the open-source community, but also introduces a new paradigm for automated model composition, paving the way for exploring alternative, efficient approaches to foundation model development.