LLM-Module: Wissenstransfer von einem großen auf ein kleines Modell unter Verwendung von verbesserter Kreuz-Aufmerksamkeit

LLM Modules: Knowledge Transfer from a Large to a Small Model using Enhanced Cross-Attention

February 12, 2025

Autoren: Konstantin Kolomeitsev

cs.AI

Zusammenfassung

In dieser Arbeit schlagen wir eine Architektur von LLM-Modulen vor, die den Wissenstransfer von einem großen vorab trainierten Modell auf ein kleineres Modell mithilfe eines verbesserten Kreuz-Aufmerksamkeitsmechanismus ermöglicht. In dem vorgeschlagenen Schema wird das Qwen2-1.5B-Modell eingefroren und seine Repräsentationen werden durch speziell entworfene Aufmerksamkeitsschichten zum GPT-Neo-125M-Modell weitergeleitet, das auf begrenzten Rechenressourcen trainiert ist. Experimentelle Ergebnisse auf dem Bespoke-Stratos-17k-Datensatz zeigen, dass nach 15 Epochen des Trainings das kombinierte Modell Antworten von vergleichbarer Qualität wie beim Destillationsverfahren erzeugt. Wir diskutieren die Vorteile des modularen Ansatzes, liefern Beispiele für Eingabeabfragen und vergleichende Analysen und skizzieren Aussichten für die weitere Erweiterung der Methode.

English

In this work, we propose an architecture of LLM Modules that enables the transfer of knowledge from a large pre-trained model to a smaller model using an Enhanced Cross-Attention mechanism. In the proposed scheme, the Qwen2-1.5B model is frozen and its representations are passed through specially designed attention layers to the GPT-Neo-125M model, which is trained on limited computational resources. Experimental results on the Bespoke-Stratos-17k dataset demonstrate that after 15 epochs of training, the combined model generates responses comparable in quality to those obtained by distillation. We discuss the advantages of the modular approach, provide examples of input queries and comparative analysis, and outline prospects for further extension of the method.