LLM-modules: Kennisoverdracht van een groot naar een klein model met verbeterde kruislingse aandacht

LLM Modules: Knowledge Transfer from a Large to a Small Model using Enhanced Cross-Attention

February 12, 2025

Auteurs: Konstantin Kolomeitsev

cs.AI

Samenvatting

In dit werk stellen we een architectuur van LLM-modules voor die de overdracht van kennis van een groot voorgeleerd model naar een kleiner model mogelijk maakt met behulp van een verbeterd kruislingse-aandachtsmechanisme. In het voorgestelde schema wordt het Qwen2-1.5B-model bevroren en worden de representaties ervan door speciaal ontworpen aandachtslagen doorgegeven aan het GPT-Neo-125M-model, dat is getraind met beperkte rekenbronnen. Experimentele resultaten op de Bespoke-Stratos-17k dataset tonen aan dat na 15 epochs van training het gecombineerde model reacties genereert die qua kwaliteit vergelijkbaar zijn met die verkregen door distillatie. We bespreken de voordelen van de modulaire benadering, geven voorbeelden van invoervragen en vergelijkende analyses, en schetsen vooruitzichten voor verdere uitbreiding van de methode.

English

In this work, we propose an architecture of LLM Modules that enables the transfer of knowledge from a large pre-trained model to a smaller model using an Enhanced Cross-Attention mechanism. In the proposed scheme, the Qwen2-1.5B model is frozen and its representations are passed through specially designed attention layers to the GPT-Neo-125M model, which is trained on limited computational resources. Experimental results on the Bespoke-Stratos-17k dataset demonstrate that after 15 epochs of training, the combined model generates responses comparable in quality to those obtained by distillation. We discuss the advantages of the modular approach, provide examples of input queries and comparative analysis, and outline prospects for further extension of the method.