Quand la ponctuation compte : Une comparaison à grande échelle des méthodes de robustesse des prompts pour les modèles de langage

When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

August 15, 2025

papers.authors: Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs) sont très sensibles aux variations subtiles et non sémantiques dans la formulation et le formatage des prompts. Dans ce travail, nous présentons la première évaluation systématique de 5 méthodes pour améliorer la robustesse des prompts dans un cadre expérimental unifié. Nous comparons ces techniques sur 8 modèles des familles Llama, Qwen et Gemma à travers 52 tâches issues du jeu de données Natural Instructions. Notre évaluation couvre des méthodes de robustesse provenant à la fois des paradigmes d'apprentissage par fine-tuning et d'apprentissage en contexte, et teste leur généralisation face à plusieurs types de décalages de distribution. Enfin, nous étendons notre analyse à GPT-4.1 et DeepSeek V3 pour évaluer la robustesse actuelle des modèles de pointe face aux perturbations de format. Nos résultats offrent des insights actionnables sur l'efficacité relative de ces méthodes de robustesse, permettant aux praticiens de prendre des décisions éclairées lorsqu'ils visent une performance stable et fiable des LLMs dans des applications réelles. Code : https://github.com/AIRI-Institute/when-punctuation-matters.

English

Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.