句読点が重要となる場合：大規模言語モデルにおけるプロンプトロバストネス手法の大規模比較

要旨

大規模言語モデル（LLM）は、プロンプトのフレージングやフォーマットにおける微妙な非意味論的変化に対して非常に敏感である。本研究では、プロンプトの堅牢性を向上させるための5つの手法を統一的な実験フレームワーク内で初めて体系的に評価する。これらの手法を、Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットの52タスクでベンチマークする。我々の評価は、ファインチューニングとインコンテキスト学習の両パラダイムにわたる堅牢性手法をカバーし、複数のタイプの分布シフトに対するそれらの汎化能力をテストする。最後に、GPT-4.1とDeepSeek V3に分析を拡張し、最先端モデルが現在フォーマットの摂動に対してどの程度堅牢であるかを評価する。我々の知見は、これらの堅牢性手法の相対的な有効性に関する実践的な洞察を提供し、実世界のアプリケーションにおいて安定した信頼性の高いLLMの性能を目指す際に、実践者が情報に基づいた意思決定を行えるようにする。コード: https://github.com/AIRI-Institute/when-punctuation-matters.

English

Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.

句読点が重要となる場合：大規模言語モデルにおけるプロンプトロバストネス手法の大規模比較

When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

要旨

Support