Cuando la puntuación importa: Una comparación a gran escala de métodos de robustez en prompts para modelos de lenguaje grandes

When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs

August 15, 2025

Autores: Mikhail Seleznyov, Mikhail Chaichuk, Gleb Ershov, Alexander Panchenko, Elena Tutubalina, Oleg Somov

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) son altamente sensibles a variaciones sutiles y no semánticas en la redacción y el formato de las instrucciones. En este trabajo, presentamos la primera evaluación sistemática de 5 métodos para mejorar la robustez de las instrucciones dentro de un marco experimental unificado. Evaluamos estas técnicas en 8 modelos de las familias Llama, Qwen y Gemma, abarcando 52 tareas del conjunto de datos Natural Instructions. Nuestra evaluación cubre métodos de robustez tanto del paradigma de ajuste fino como del aprendizaje en contexto, y prueba su generalización frente a múltiples tipos de cambios en la distribución. Finalmente, extendemos nuestro análisis a GPT-4.1 y DeepSeek V3 para evaluar la robustez actual de los modelos de vanguardia frente a perturbaciones en el formato. Nuestros hallazgos ofrecen insights prácticos sobre la efectividad relativa de estos métodos de robustez, permitiendo a los profesionales tomar decisiones informadas al buscar un rendimiento estable y confiable de los LLMs en aplicaciones del mundo real. Código: https://github.com/AIRI-Institute/when-punctuation-matters.

English

Large Language Models (LLMs) are highly sensitive to subtle, non-semantic variations in prompt phrasing and formatting. In this work, we present the first systematic evaluation of 5 methods for improving prompt robustness within a unified experimental framework. We benchmark these techniques on 8 models from Llama, Qwen and Gemma families across 52 tasks from Natural Instructions dataset. Our evaluation covers robustness methods from both fine-tuned and in-context learning paradigms, and tests their generalization against multiple types of distribution shifts. Finally, we extend our analysis to GPT-4.1 and DeepSeek V3 to assess frontier models' current robustness to format perturbations. Our findings offer actionable insights into the relative effectiveness of these robustness methods, enabling practitioners to make informed decisions when aiming for stable and reliable LLM performance in real-world applications. Code: https://github.com/AIRI-Institute/when-punctuation-matters.