LLMモジュール：拡張されたクロスアテンションを使用して大規模モデルから小規模モデルへの知識転送

LLM Modules: Knowledge Transfer from a Large to a Small Model using Enhanced Cross-Attention

February 12, 2025

著者: Konstantin Kolomeitsev

cs.AI

要旨

本研究では、LLMモジュールのアーキテクチャを提案し、強化されたクロスアテンションメカニズムを使用して大規模な事前学習モデルから小さなモデルへの知識転送を可能にします。提案された手法では、Qwen2-1.5Bモデルを凍結し、その表現を特別に設計されたアテンション層を介して計算リソースが限られたGPT-Neo-125Mモデルに渡します。Bespoke-Stratos-17kデータセットでの実験結果は、15エポックのトレーニング後、結合モデルが蒸留によって得られるものと同等の品質の応答を生成することを示しています。モジュラーなアプローチの利点、入力クエリや比較分析の例、および手法のさらなる拡張の展望について議論します。

English

In this work, we propose an architecture of LLM Modules that enables the transfer of knowledge from a large pre-trained model to a smaller model using an Enhanced Cross-Attention mechanism. In the proposed scheme, the Qwen2-1.5B model is frozen and its representations are passed through specially designed attention layers to the GPT-Neo-125M model, which is trained on limited computational resources. Experimental results on the Bespoke-Stratos-17k dataset demonstrate that after 15 epochs of training, the combined model generates responses comparable in quality to those obtained by distillation. We discuss the advantages of the modular approach, provide examples of input queries and comparative analysis, and outline prospects for further extension of the method.