Exploitation de l'auto-attention pour l'incitation contextuelle dépendante de l'entrée dans les LLM

Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs

June 5, 2025

Auteurs: Ananth Muppidi, Abhilash Nandy, Sambaran Bandyopadhyay

cs.AI

Résumé

La performance des grands modèles de langage dans des tâches spécifiques à un domaine nécessite un ajustement fin, qui est coûteux en calculs et techniquement complexe. Cet article se concentre sur l'ajustement fin efficace en termes de paramètres en utilisant l'incitation douce, une approche prometteuse qui adapte les modèles pré-entraînés à des tâches en aval en apprenant un petit ensemble de paramètres. Nous proposons une nouvelle technique d'Incitation Douce Dépendante de l'Entrée avec un Mécanisme d'Attention (ID-SPAM) qui génère des incitations douces basées sur les tokens d'entrée et accorde une importance variable à différents tokens. Notre méthode est simple et efficace, en maintenant un nombre réduit de paramètres entraînables. Nous démontrons les avantages de l'approche proposée par rapport aux techniques de pointe sur diverses tâches et montrons une capacité améliorée de transfert de domaine en zéro-shot.

English

The performance of large language models in domain-specific tasks necessitates fine-tuning, which is computationally expensive and technically challenging. This paper focuses on parameter-efficient fine-tuning using soft prompting, a promising approach that adapts pre-trained models to downstream tasks by learning a small set of parameters. We propose a novel Input Dependent Soft Prompting technique with a self-Attention Mechanism (ID-SPAM) that generates soft prompts based on the input tokens and attends different tokens with varying importance. Our method is simple and efficient, keeping the number of trainable parameters small. We show the merits of the proposed approach compared to state-of-the-art techniques on various tasks and show the improved zero shot domain transfer capability.