Использование механизма самовнимания для создания входозависимых мягких подсказок в больших языковых моделях

Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs

June 5, 2025

Авторы: Ananth Muppidi, Abhilash Nandy, Sambaran Bandyopadhyay

cs.AI

Аннотация

Эффективность крупных языковых моделей в задачах, специфичных для определенных областей, требует тонкой настройки, которая является вычислительно затратной и технически сложной. В данной статье рассматривается параметрически эффективная тонкая настройка с использованием мягкого промптинга — перспективного подхода, который адаптирует предварительно обученные модели к последующим задачам путем обучения небольшого набора параметров. Мы предлагаем новую технику Input Dependent Soft Prompting с механизмом самовнимания (ID-SPAM), которая генерирует мягкие промпты на основе входных токенов и уделяет различным токенам разный уровень внимания. Наш метод прост и эффективен, сохраняя количество обучаемых параметров небольшим. Мы демонстрируем преимущества предложенного подхода по сравнению с современными методами на различных задачах и показываем улучшенную способность к переносу знаний в условиях нулевого сценария.

English

The performance of large language models in domain-specific tasks necessitates fine-tuning, which is computationally expensive and technically challenging. This paper focuses on parameter-efficient fine-tuning using soft prompting, a promising approach that adapts pre-trained models to downstream tasks by learning a small set of parameters. We propose a novel Input Dependent Soft Prompting technique with a self-Attention Mechanism (ID-SPAM) that generates soft prompts based on the input tokens and attends different tokens with varying importance. Our method is simple and efficient, keeping the number of trainable parameters small. We show the merits of the proposed approach compared to state-of-the-art techniques on various tasks and show the improved zero shot domain transfer capability.