Nutzung von Self-Attention für eingabeabhängiges Soft Prompting in LLMs

Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs

June 5, 2025

Autoren: Ananth Muppidi, Abhilash Nandy, Sambaran Bandyopadhyay

cs.AI

Zusammenfassung

Die Leistung großer Sprachmodelle bei domänenspezifischen Aufgaben erfordert ein Fine-Tuning, das rechenintensiv und technisch anspruchsvoll ist. Dieser Artikel konzentriert sich auf parameter-effizientes Fine-Tuning mittels Soft Prompting, einem vielversprechenden Ansatz, der vortrainierte Modelle durch das Lernen einer kleinen Menge von Parametern an nachgelagerte Aufgaben anpasst. Wir schlagen eine neuartige Input Dependent Soft Prompting Technik mit einem Self-Attention Mechanismus (ID-SPAM) vor, die Soft Prompts basierend auf den Eingabe-Tokens generiert und verschiedenen Tokens mit unterschiedlicher Gewichtung Aufmerksamkeit schenkt. Unsere Methode ist einfach und effizient, da sie die Anzahl der trainierbaren Parameter gering hält. Wir zeigen die Vorteile des vorgeschlagenen Ansatzes im Vergleich zu state-of-the-art Techniken bei verschiedenen Aufgaben und demonstrieren die verbesserte Fähigkeit zum Zero-Shot-Domänentransfer.

English

The performance of large language models in domain-specific tasks necessitates fine-tuning, which is computationally expensive and technically challenging. This paper focuses on parameter-efficient fine-tuning using soft prompting, a promising approach that adapts pre-trained models to downstream tasks by learning a small set of parameters. We propose a novel Input Dependent Soft Prompting technique with a self-Attention Mechanism (ID-SPAM) that generates soft prompts based on the input tokens and attends different tokens with varying importance. Our method is simple and efficient, keeping the number of trainable parameters small. We show the merits of the proposed approach compared to state-of-the-art techniques on various tasks and show the improved zero shot domain transfer capability.