Réglage fin sur des instructions bruitées : Effets sur la généralisation et les performances

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

October 3, 2025

papers.authors: Ahmed Alajrami, Xingwei Tan, Nikolaos Aletras

cs.AI

papers.abstract

L'ajustement par instruction joue un rôle crucial dans l'amélioration des capacités de résolution de tâches des grands modèles de langage (LLMs), renforçant leur utilité pour générer des réponses pertinentes sur diverses tâches. Cependant, des travaux antérieurs ont montré qu'ils sont sensibles à des variations mineures dans la formulation des instructions. Dans cet article, nous explorons si l'introduction de perturbations dans les données d'ajustement par instruction peut accroître la résistance des LLMs face à des instructions bruitées. Nous nous concentrons sur la manière dont l'ajustement par instruction avec des perturbations, telles que la suppression de mots d'arrêt ou le mélange de mots, affecte les performances des LLMs sur les versions originales et perturbées de benchmarks largement utilisés (MMLU, BBH, GSM8K). Nous évaluons également les dynamiques d'apprentissage et les éventuels changements dans le comportement du modèle. Étonnamment, nos résultats suggèrent que l'ajustement par instruction sur des instructions perturbées peut, dans certains cas, améliorer les performances en aval. Ces résultats soulignent l'importance d'inclure des instructions perturbées dans l'ajustement par instruction, ce qui peut rendre les LLMs plus résilients face aux entrées bruitées des utilisateurs.

English

Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.