Zelf-attentie benutten voor invoerafhankelijk soft prompting in LLM's

Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs

June 5, 2025

Auteurs: Ananth Muppidi, Abhilash Nandy, Sambaran Bandyopadhyay

cs.AI

Samenvatting

De prestaties van grote taalmodelen in domeinspecifieke taken vereisen fine-tuning, wat rekenkundig duur en technisch uitdagend is. Dit artikel richt zich op parameter-efficiënte fine-tuning met behulp van soft prompting, een veelbelovende aanpak die vooraf getrainde modellen aanpast aan downstream taken door een kleine set parameters te leren. Wij stellen een nieuwe Input Dependent Soft Prompting techniek voor met een self-Attention Mechanism (ID-SPAM) die soft prompts genereert op basis van de invoertokens en verschillende tokens met variërend belang aandacht geeft. Onze methode is eenvoudig en efficiënt, waarbij het aantal trainbare parameters klein blijft. We tonen de voordelen van de voorgestelde aanpak in vergelijking met state-of-the-art technieken op verschillende taken en laten de verbeterde zero-shot domeinoverdrachtsmogelijkheid zien.

English

The performance of large language models in domain-specific tasks necessitates fine-tuning, which is computationally expensive and technically challenging. This paper focuses on parameter-efficient fine-tuning using soft prompting, a promising approach that adapts pre-trained models to downstream tasks by learning a small set of parameters. We propose a novel Input Dependent Soft Prompting technique with a self-Attention Mechanism (ID-SPAM) that generates soft prompts based on the input tokens and attends different tokens with varying importance. Our method is simple and efficient, keeping the number of trainable parameters small. We show the merits of the proposed approach compared to state-of-the-art techniques on various tasks and show the improved zero shot domain transfer capability.