Quando a Pontuação Importa: Uma Comparação em Larga Escala de Métodos de Robustez de Prompts para LLMs

When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

August 15, 2025

Autores: Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) são altamente sensíveis a variações sutis e não semânticas na formulação e formatação de prompts. Neste trabalho, apresentamos a primeira avaliação sistemática de 5 métodos para melhorar a robustez de prompts dentro de um framework experimental unificado. Avaliamos essas técnicas em 8 modelos das famílias Llama, Qwen e Gemma em 52 tarefas do conjunto de dados Natural Instructions. Nossa avaliação abrange métodos de robustez tanto de paradigmas de ajuste fino quanto de aprendizado em contexto, e testa sua generalização contra múltiplos tipos de deslocamentos de distribuição. Por fim, estendemos nossa análise ao GPT-4.1 e ao DeepSeek V3 para avaliar a robustez atual dos modelos de fronteira a perturbações de formato. Nossos resultados oferecem insights acionáveis sobre a eficácia relativa desses métodos de robustez, permitindo que profissionais tomem decisões informadas ao buscar desempenho estável e confiável de LLMs em aplicações do mundo real. Código: https://github.com/AIRI-Institute/when-punctuation-matters.

English

Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.