Moduli LLM: Trasferimento di Conoscenza da un Modello Grande a uno Piccolo utilizzando Cross-Attention Potenziata

LLM Modules: Knowledge Transfer from a Large to a Small Model using Enhanced Cross-Attention

February 12, 2025

Autori: Konstantin Kolomeitsev

cs.AI

Abstract

In questo lavoro, proponiamo un'architettura di Moduli LLM che consente il trasferimento di conoscenze da un grande modello pre-addestrato a un modello più piccolo utilizzando un meccanismo di Cross-Attention potenziato. Nello schema proposto, il modello Qwen2-1.5B è congelato e le sue rappresentazioni vengono passate attraverso strati di attenzione appositamente progettati al modello GPT-Neo-125M, che è addestrato su risorse computazionali limitate. I risultati sperimentali sul dataset Bespoke-Stratos-17k dimostrano che dopo 15 epoche di addestramento, il modello combinato genera risposte di qualità comparabile a quelle ottenute tramite distillazione. Discutiamo i vantaggi dell'approccio modulare, forniamo esempi di query in ingresso e analisi comparative, e delineiamo prospettive per ulteriori estensioni del metodo.

English

In this work, we propose an architecture of LLM Modules that enables the transfer of knowledge from a large pre-trained model to a smaller model using an Enhanced Cross-Attention mechanism. In the proposed scheme, the Qwen2-1.5B model is frozen and its representations are passed through specially designed attention layers to the GPT-Neo-125M model, which is trained on limited computational resources. Experimental results on the Bespoke-Stratos-17k dataset demonstrate that after 15 epochs of training, the combined model generates responses comparable in quality to those obtained by distillation. We discuss the advantages of the modular approach, provide examples of input queries and comparative analysis, and outline prospects for further extension of the method.