Ajuste fino en instrucciones ruidosas: efectos en la generalización y el rendimiento

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

October 3, 2025

Autores: Ahmed Alajrami, Xingwei Tan, Nikolaos Aletras

cs.AI

Resumen

El ajuste por instrucciones desempeña un papel crucial en la mejora de las capacidades de resolución de tareas de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), incrementando su utilidad para generar respuestas útiles en diversas tareas. Sin embargo, trabajos previos han demostrado que estos modelos son sensibles a variaciones menores en la redacción de las instrucciones. En este artículo, exploramos si la introducción de perturbaciones en los datos de ajuste por instrucciones puede mejorar la resistencia de los LLMs frente a instrucciones ruidosas. Nos enfocamos en cómo el ajuste por instrucciones con perturbaciones, como la eliminación de palabras de parada o la reorganización de palabras, afecta el rendimiento de los LLMs en versiones originales y perturbadas de puntos de referencia ampliamente utilizados (MMLU, BBH, GSM8K). Además, evaluamos las dinámicas de aprendizaje y posibles cambios en el comportamiento del modelo. Sorprendentemente, nuestros resultados sugieren que el ajuste por instrucciones con instrucciones perturbadas puede, en algunos casos, mejorar el rendimiento en tareas posteriores. Estos hallazgos resaltan la importancia de incluir instrucciones perturbadas en el ajuste por instrucciones, lo que puede hacer que los LLMs sean más resistentes a entradas de usuario ruidosas.

English

Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.