Модули LLM: Передача знаний от большой модели к маленькой с использованием улучшенного кросс-внимания

LLM Modules: Knowledge Transfer from a Large to a Small Model using Enhanced Cross-Attention

February 12, 2025

Авторы: Konstantin Kolomeitsev

cs.AI

Аннотация

В данной работе мы предлагаем архитектуру LLM-модулей, которая позволяет передавать знания от большой предварительно обученной модели к более маленькой модели с использованием механизма Улучшенного Перекрестного Внимания. В предложенной схеме модель Qwen2-1.5B замораживается, и ее представления передаются через специально разработанные слои внимания модели GPT-Neo-125M, которая обучена на ограниченных вычислительных ресурсах. Экспериментальные результаты на наборе данных Bespoke-Stratos-17k показывают, что после 15 эпох обучения комбинированная модель генерирует ответы с качеством, сравнимым с полученными при дистилляции. Мы обсуждаем преимущества модульного подхода, предоставляем примеры входных запросов и сравнительный анализ, а также намечаем перспективы для дальнейшего расширения метода.

English

In this work, we propose an architecture of LLM Modules that enables the transfer of knowledge from a large pre-trained model to a smaller model using an Enhanced Cross-Attention mechanism. In the proposed scheme, the Qwen2-1.5B model is frozen and its representations are passed through specially designed attention layers to the GPT-Neo-125M model, which is trained on limited computational resources. Experimental results on the Bespoke-Stratos-17k dataset demonstrate that after 15 epochs of training, the combined model generates responses comparable in quality to those obtained by distillation. We discuss the advantages of the modular approach, provide examples of input queries and comparative analysis, and outline prospects for further extension of the method.