Ajuste Fino em Instruções Ruidosas: Efeitos na Generalização e Desempenho

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

October 3, 2025

Autores: Ahmed Alajrami, Xingwei Tan, Nikolaos Aletras

cs.AI

Resumo

O ajuste por instrução desempenha um papel crucial no aprimoramento das habilidades de resolução de tarefas dos grandes modelos de linguagem (LLMs), melhorando sua usabilidade na geração de respostas úteis para diversas tarefas. No entanto, trabalhos anteriores demonstraram que esses modelos são sensíveis a pequenas variações na formulação das instruções. Neste artigo, exploramos se a introdução de perturbações nos dados de ajuste por instrução pode aumentar a resistência dos LLMs a instruções ruidosas. Nosso foco é entender como o ajuste por instrução com perturbações, como a remoção de palavras de parada ou a reorganização de palavras, afeta o desempenho dos LLMs em versões originais e perturbadas de benchmarks amplamente utilizados (MMLU, BBH, GSM8K). Além disso, avaliamos as dinâmicas de aprendizado e possíveis mudanças no comportamento do modelo. Surpreendentemente, nossos resultados sugerem que o ajuste por instrução com instruções perturbadas pode, em alguns casos, melhorar o desempenho subsequente. Essas descobertas destacam a importância de incluir instruções perturbadas no ajuste por instrução, o que pode tornar os LLMs mais resilientes a entradas ruidosas dos usuários.

English

Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.