ProSA: Valutazione e Comprensione della Sensibilità alla Richiesta delle LLM

ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs

October 16, 2024

Autori: Jingming Zhuo, Songyang Zhang, Xinyu Fang, Haodong Duan, Dahua Lin, Kai Chen

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato capacità impressionanti in varie attività, ma le loro prestazioni sono altamente sensibili ai prompt utilizzati. Questa variabilità pone sfide per una valutazione accurata e la soddisfazione dell'utente. La ricerca attuale spesso trascura le variazioni dei prompt a livello di istanza e le loro implicazioni sulle valutazioni soggettive. Per affrontare queste lacune, presentiamo ProSA, un framework progettato per valutare e comprendere la sensibilità ai prompt nei LLM. ProSA incorpora una nuova metrica di sensibilità, PromptSensiScore, e sfrutta la fiducia nella decodifica per chiarire i meccanismi sottostanti. Il nostro ampio studio, che copre diverse attività, rivela che la sensibilità ai prompt varia tra i dataset e i modelli, con i modelli più grandi che mostrano una maggiore robustezza. Osserviamo che gli esempi a pochi colpi possono alleviare questo problema di sensibilità, e le valutazioni soggettive sono anche suscettibili alle sensibilità dei prompt, in particolare nelle attività complesse orientate al ragionamento. Inoltre, i nostri risultati indicano che una maggiore fiducia del modello correla con una maggiore robustezza del prompt. Crediamo che questo lavoro possa servire come uno strumento utile nello studio della sensibilità ai prompt dei LLM. Il progetto è disponibile su: https://github.com/open-compass/ProSA.

English

Large language models (LLMs) have demonstrated impressive capabilities across various tasks, but their performance is highly sensitive to the prompts utilized. This variability poses challenges for accurate assessment and user satisfaction. Current research frequently overlooks instance-level prompt variations and their implications on subjective evaluations. To address these shortcomings, we introduce ProSA, a framework designed to evaluate and comprehend prompt sensitivity in LLMs. ProSA incorporates a novel sensitivity metric, PromptSensiScore, and leverages decoding confidence to elucidate underlying mechanisms. Our extensive study, spanning multiple tasks, uncovers that prompt sensitivity fluctuates across datasets and models, with larger models exhibiting enhanced robustness. We observe that few-shot examples can alleviate this sensitivity issue, and subjective evaluations are also susceptible to prompt sensitivities, particularly in complex, reasoning-oriented tasks. Furthermore, our findings indicate that higher model confidence correlates with increased prompt robustness. We believe this work will serve as a helpful tool in studying prompt sensitivity of LLMs. The project is released at: https://github.com/open-compass/ProSA .