Fine-Tuning su Istruzioni Rumoreggiate: Effetti sulla Generalizzazione e sulle Prestazioni

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

October 3, 2025

Autori: Ahmed Alajrami, Xingwei Tan, Nikolaos Aletras

cs.AI

Abstract

L'instruction-tuning svolge un ruolo cruciale nel potenziare le capacità di risoluzione dei compiti dei grandi modelli linguistici (LLMs), migliorando la loro usabilità nella generazione di risposte utili per vari task. Tuttavia, lavori precedenti hanno dimostrato che questi modelli sono sensibili a piccole variazioni nella formulazione delle istruzioni. In questo articolo, esploriamo se l'introduzione di perturbazioni nei dati di instruction-tuning possa aumentare la resistenza degli LLMs a istruzioni rumorose. Ci concentriamo su come l'instruction-tuning con perturbazioni, come la rimozione di parole di stop o il rimescolamento delle parole, influisca sulle prestazioni degli LLMs nelle versioni originali e perturbate di benchmark ampiamente utilizzati (MMLU, BBH, GSM8K). Valutiamo inoltre le dinamiche di apprendimento e i potenziali cambiamenti nel comportamento del modello. Sorprendentemente, i nostri risultati suggeriscono che l'instruction-tuning su istruzioni perturbate può, in alcuni casi, migliorare le prestazioni downstream. Questi risultati evidenziano l'importanza di includere istruzioni perturbate nell'instruction-tuning, rendendo gli LLMs più resilienti agli input rumorosi degli utenti.

English

Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.