Aproveitando a Auto-Atenção para Prompting Suave Dependente da Entrada em LLMs

Leveraging Self-Attention for Input-Dependent Soft Prompting in LLMs

June 5, 2025

Autores: Ananth Muppidi, Abhilash Nandy, Sambaran Bandyopadhyay

cs.AI

Resumo

O desempenho de modelos de linguagem de grande escala em tarefas específicas de domínio exige ajuste fino, que é computacionalmente caro e tecnicamente desafiador. Este artigo foca no ajuste fino eficiente em termos de parâmetros usando soft prompting, uma abordagem promissora que adapta modelos pré-treinados para tarefas subsequentes ao aprender um pequeno conjunto de parâmetros. Propomos uma nova técnica de Soft Prompting Dependente da Entrada com um Mecanismo de Auto-atenção (ID-SPAM) que gera soft prompts com base nos tokens de entrada e atribui diferentes níveis de importância a vários tokens. Nosso método é simples e eficiente, mantendo o número de parâmetros treináveis reduzido. Demonstramos os méritos da abordagem proposta em comparação com técnicas state-of-the-art em várias tarefas e mostramos a capacidade aprimorada de transferência de domínio zero shot.

English

The performance of large language models in domain-specific tasks necessitates fine-tuning, which is computationally expensive and technically challenging. This paper focuses on parameter-efficient fine-tuning using soft prompting, a promising approach that adapts pre-trained models to downstream tasks by learning a small set of parameters. We propose a novel Input Dependent Soft Prompting technique with a self-Attention Mechanism (ID-SPAM) that generates soft prompts based on the input tokens and attends different tokens with varying importance. Our method is simple and efficient, keeping the number of trainable parameters small. We show the merits of the proposed approach compared to state-of-the-art techniques on various tasks and show the improved zero shot domain transfer capability.