Feinabstimmung auf verrauschten Anweisungen: Auswirkungen auf Generalisierung und Leistung

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

October 3, 2025

papers.authors: Ahmed Alajrami, Xingwei Tan, Nikolaos Aletras

cs.AI

papers.abstract

Instruction-Tuning spielt eine entscheidende Rolle bei der Verbesserung der Aufgabenlösungsfähigkeiten großer Sprachmodelle (LLMs) und erhöht deren Nutzbarkeit bei der Generierung hilfreicher Antworten auf verschiedene Aufgaben. Frühere Arbeiten haben jedoch gezeigt, dass diese Modelle empfindlich auf geringfügige Variationen in der Formulierung von Anweisungen reagieren. In dieser Arbeit untersuchen wir, ob die Einführung von Störungen in den Instruction-Tuning-Daten die Widerstandsfähigkeit von LLMs gegenüber verrauschten Anweisungen verbessern kann. Wir konzentrieren uns darauf, wie Instruction-Tuning mit Störungen, wie dem Entfernen von Stoppwörtern oder dem Vertauschen von Wörtern, die Leistung von LLMs auf den ursprünglichen und gestörten Versionen weit verbreiteter Benchmarks (MMLU, BBH, GSM8K) beeinflusst. Darüber hinaus bewerten wir die Lern dynamiken und potenzielle Verschiebungen im Modellverhalten. Überraschenderweise deuten unsere Ergebnisse darauf hin, dass Instruction-Tuning mit gestörten Anweisungen in einigen Fällen die nachgelagerte Leistung verbessern kann. Diese Erkenntnisse unterstreichen die Bedeutung der Einbeziehung gestörter Anweisungen in das Instruction-Tuning, wodurch LLMs widerstandsfähiger gegenüber verrauschten Benutzereingaben werden können.

English

Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.