ProSA: LLMのプロンプト感度の評価と理解

要旨

大規模言語モデル（LLMs）は、さまざまなタスクで印象的な能力を示していますが、そのパフォーマンスは使用されるプロンプトに非常に敏感です。この変動性は、正確な評価とユーザー満足に課題を提起します。現在の研究では、しばしばインスタンスレベルのプロンプトの変化と主観的評価への影響が見過ごされています。これらの課題に対処するために、私たちはLLMsにおけるプロンプトの感度を評価し理解するために設計されたProSAを紹介します。ProSAには、新しい感度メトリックであるPromptSensiScoreが組み込まれており、デコーディングの信頼度を活用して基本的なメカニズムを明らかにします。複数のタスクにわたる包括的な研究により、プロンプトの感度がデータセットやモデルによって変動し、大規模モデルが強化された堅牢性を示すことが明らかになりました。われわれは、フューショットの例がこの感度の問題を軽減し、主観的評価も特に複雑で推論志向のタスクにおいてプロンプトの感度に影響を受けやすいことを観察しています。さらに、われわれの調査結果は、より高いモデルの信頼度がプロンプトの堅牢性の向上と相関していることを示しています。この研究がLLMsのプロンプト感度を研究する上で有益なツールとなると考えています。プロジェクトはこちらで公開されています：https://github.com/open-compass/ProSA。

English

Large language models (LLMs) have demonstrated impressive capabilities across various tasks, but their performance is highly sensitive to the prompts utilized. This variability poses challenges for accurate assessment and user satisfaction. Current research frequently overlooks instance-level prompt variations and their implications on subjective evaluations. To address these shortcomings, we introduce ProSA, a framework designed to evaluate and comprehend prompt sensitivity in LLMs. ProSA incorporates a novel sensitivity metric, PromptSensiScore, and leverages decoding confidence to elucidate underlying mechanisms. Our extensive study, spanning multiple tasks, uncovers that prompt sensitivity fluctuates across datasets and models, with larger models exhibiting enhanced robustness. We observe that few-shot examples can alleviate this sensitivity issue, and subjective evaluations are also susceptible to prompt sensitivities, particularly in complex, reasoning-oriented tasks. Furthermore, our findings indicate that higher model confidence correlates with increased prompt robustness. We believe this work will serve as a helpful tool in studying prompt sensitivity of LLMs. The project is released at: https://github.com/open-compass/ProSA .

ProSA: LLMのプロンプト感度の評価と理解

ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs

要旨

Summary

Support

Support