Когда пунктуация имеет значение: масштабное сравнение методов устойчивости промптов для больших языковых моделей

When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

August 15, 2025

Авторы: Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov

cs.AI

Аннотация

Крупные языковые модели (LLM) крайне чувствительны к тонким, не семантическим вариациям в формулировках и форматировании промптов. В данной работе мы представляем первое систематическое исследование 5 методов повышения устойчивости промптов в рамках единой экспериментальной схемы. Мы тестируем эти методы на 8 моделях из семейств Llama, Qwen и Gemma, используя 52 задачи из набора данных Natural Instructions. Наше исследование охватывает методы повышения устойчивости как в рамках тонкой настройки, так и в контекстном обучении, а также проверяет их способность к обобщению при различных типах сдвигов распределения. В заключение мы расширяем анализ на GPT-4.1 и DeepSeek V3, чтобы оценить текущую устойчивость передовых моделей к изменениям формата. Наши результаты предоставляют практические рекомендации относительно относительной эффективности этих методов, позволяя специалистам принимать обоснованные решения для достижения стабильной и надежной работы LLM в реальных приложениях. Код: https://github.com/AIRI-Institute/when-punctuation-matters.

English

Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.