Wenn Interpunktion zählt: Ein groß angelegter Vergleich von Methoden zur Prompt-Robustheit für LLMs

When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

August 15, 2025

papers.authors: Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) sind äußerst empfindlich gegenüber subtilen, nicht-semantischen Variationen in der Formulierung und Formatierung von Prompts. In dieser Arbeit präsentieren wir die erste systematische Evaluierung von 5 Methoden zur Verbesserung der Prompt-Robustheit innerhalb eines einheitlichen experimentellen Rahmens. Wir benchmarken diese Techniken an 8 Modellen aus den Llama-, Qwen- und Gemma-Familien über 52 Aufgaben aus dem Natural Instructions-Datensatz. Unsere Evaluierung umfasst Robustheitsmethoden sowohl aus dem Bereich des Fine-Tunings als auch des In-Context-Lernens und testet deren Generalisierungsfähigkeit gegenüber verschiedenen Arten von Verteilungsverschiebungen. Schließlich erweitern wir unsere Analyse auf GPT-4.1 und DeepSeek V3, um die aktuelle Robustheit von Spitzenmodellen gegenüber Formatstörungen zu bewerten. Unsere Ergebnisse bieten praktische Einblicke in die relative Wirksamkeit dieser Robustheitsmethoden und ermöglichen es Anwendern, fundierte Entscheidungen zu treffen, wenn sie auf stabile und zuverlässige LLM-Leistungen in realen Anwendungen abzielen. Code: https://github.com/AIRI-Institute/when-punctuation-matters.

English

Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.