Fine-tuning op ruisachtige instructies: Effecten op generalisatie en prestaties

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

October 3, 2025

Auteurs: Ahmed Alajrami, Xingwei Tan, Nikolaos Aletras

cs.AI

Samenvatting

Instruction-tuning speelt een cruciale rol bij het verbeteren van de taakoplossende vaardigheden van grote taalmodellen (LLM's), waardoor hun bruikbaarheid toeneemt bij het genereren van nuttige reacties op diverse taken. Eerder onderzoek heeft echter aangetoond dat ze gevoelig zijn voor kleine variaties in de formulering van instructies. In dit artikel onderzoeken we of het introduceren van verstoringen in instruction-tuning data de weerstand van LLM's tegen onduidelijke instructies kan vergroten. We richten ons op hoe instruction-tuning met verstoringen, zoals het verwijderen van stopwoorden of het door elkaar husselen van woorden, de prestaties van LLM's beïnvloedt op de originele en verstoorde versies van veelgebruikte benchmarks (MMLU, BBH, GSM8K). We beoordelen verder de leer dynamiek en mogelijke verschuivingen in modelgedrag. Verrassend genoeg suggereren onze resultaten dat instruction-tuning op verstoorde instructies in sommige gevallen de prestaties op downstream taken kan verbeteren. Deze bevindingen benadrukken het belang van het opnemen van verstoorde instructies in instruction-tuning, wat LLM's veerkrachtiger kan maken tegen onduidelijke gebruikersinvoer.

English

Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.