Wanneer Interpunctie Belangrijk Is: Een Grootschalige Vergelijking van Methoden voor Prompt-Robuustheid bij LLM's

When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

August 15, 2025

Auteurs: Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) zijn zeer gevoelig voor subtiele, niet-semantische variaties in de formulering en opmaak van prompts. In dit werk presenteren we de eerste systematische evaluatie van 5 methoden voor het verbeteren van de robuustheid van prompts binnen een uniform experimenteel kader. We testen deze technieken op 8 modellen uit de Llama-, Qwen- en Gemma-families over 52 taken uit de Natural Instructions-dataset. Onze evaluatie omvat robuustheidsmethoden uit zowel de fine-tuning- als in-context learning-paradigma's en test hun generalisatievermogen tegen meerdere soorten distributieverschuivingen. Tot slot breiden we onze analyse uit naar GPT-4.1 en DeepSeek V3 om de huidige robuustheid van frontiermodellen tegen opmaakverstoringen te beoordelen. Onze bevindingen bieden praktische inzichten in de relatieve effectiviteit van deze robuustheidsmethoden, waardoor beoefenaars weloverwogen beslissingen kunnen nemen bij het streven naar stabiele en betrouwbare LLM-prestaties in real-world toepassingen. Code: https://github.com/AIRI-Institute/when-punctuation-matters.

English

Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.