Quando la punteggiatura conta: un confronto su larga scala dei metodi di robustezza dei prompt per i modelli linguistici di grandi dimensioni

When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

August 15, 2025

Autori: Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov

cs.AI

Abstract

I Large Language Model (LLM) sono altamente sensibili a variazioni sottili e non semantiche nella formulazione e formattazione dei prompt. In questo lavoro, presentiamo la prima valutazione sistematica di 5 metodi per migliorare la robustezza dei prompt all'interno di un framework sperimentale unificato. Abbiamo testato queste tecniche su 8 modelli delle famiglie Llama, Qwen e Gemma, utilizzando 52 task del dataset Natural Instructions. La nostra valutazione copre metodi di robustezza sia per il paradigma del fine-tuning che dell'in-context learning, testandone la generalizzazione rispetto a molteplici tipi di shift distributivi. Infine, estendiamo la nostra analisi a GPT-4.1 e DeepSeek V3 per valutare l'attuale robustezza dei modelli di frontiera alle perturbazioni di formato. I nostri risultati offrono indicazioni pratiche sull'efficacia relativa di questi metodi di robustezza, consentendo ai professionisti di prendere decisioni informate quando si mira a ottenere prestazioni stabili e affidabili degli LLM in applicazioni reali. Codice: https://github.com/AIRI-Institute/when-punctuation-matters.

English

Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.